更新：因豆瓣版本更新，正文内代码已失效，修复后的代码放到了Github，主要变化：
- 退2保平安，改用Python 3（free style）
- 加入了随机生成User Agent（Scrapy的user agent明明白白表示自己是个机器人...这是旧代码抓不到任何数据的原因）
- 更新了rate的xpath
- 现在github repo里共有三个玩具爬虫，分别使用beautifulsoup、scrapy、selenium
下面是本文初始版，详述Python 2下的Scrapy方法：
第一次接触scrapy，想找个简单的页面尝试下，于是就抓了豆瓣电影TOP250。没什么技术含量，主要收获是了解了scrapy的基本功能、xpath以及python中Unicode的编码问题。
只想看结果的话请往后翻。
实现
items.py (scrapy)
import scrapy
class Movie250Item(scrapy.Item):
rank = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
star = scrapy.Field()
rate = scrapy.Field()
quote = scrapy.Field()
spider_movie250.py (scrapy)
import scrapy
from movie250.items import Movie250Item
class Movie250Spider(scrapy.Spider):
"""docstring for Movie250Spider"""
name = 'movie250'
allowed_domains = ["douban.com"]
start_urls = [
"http://movie.douban.com/top250/"
]
def parse(self, response):
for info in response.xpath('//div[@class="item"]'):
item = Movie250Item()
item['rank'] = info.xpath('div[@class="pic"]/em/text()').extract()
item['title'] = info.xpath('div[@class="pic"]/a/img/@alt').extract()
item['link'] = info.xpath('div[@class="pic"]/a/@href').extract()
item['star'] = info.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span/em/text()').extract()
item['rate'] = info.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span/text()').extract()
item['quote'] = info.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').extract()
yield item
# 翻页
next_page = response.xpath('//span[@class="next"]/a/@href')
if next_page:
url = response.urljoin(next_page[0].extract())
yield scrapy.Request(url, self.parse)
以上代码写好后进入在Console里输入以下命令，以爬取数据并存入json文件中：
scrapy crawl movie250 -o items.json
得到的json文件采样：
[{"star": ["9.6"], "title": ["\u8096\u7533\u514b\u7684\u6551\u8d4e"], "quote": ["\u5e0c\u671b\u8ba9\u4eba\u81ea\u7531\u3002"], "rank": ["1"], "rate": ["628644\u4eba\u8bc4\u4ef7"], "link": ["http://movie.douban.com/subject/1292052/"]},
{"star": ["9.4"], "title": ["\u8fd9\u4e2a\u6740\u624b\u4e0d\u592a\u51b7"], "quote": ["\u602a\u8700\u9ecd\u548c\u5c0f\u841d\u8389\u4e0d\u5f97\u4e0d\u8bf4\u7684\u6545\u4e8b\u3002"], "rank": ["2"], "rate": ["598654\u4eba\u8bc4\u4ef7"], "link": ["http://movie.douban.com/subject/1295644/"]}]
最后自己再写一个output得到结果（主要注意编码问题，注释里已进行解释，print语句有点长Orz）：
output.py
import json
def readMovieJson():
inFile = open("D:\Users\Simon\movie250\items.json",'r',0)
text = inFile.read() # text是str
movie_dict = json.loads(text) # movie_dict是list
for movie in movie_dict: # movie是dict
rank = movie["rank"][0] # rank等都是Unicode
title = movie["title"][0]
link = movie["link"][0]
star = movie["star"][0]
rate = movie["rate"][0]
if movie["quote"]:
quote = movie["quote"][0]
else: quote = "暂无".decode("utf-8")
# str和Unicode不能混用，要么将Unicode类型encode为其他编码，
要么将str类型decode为其他编码
# python的内部使用Unicode，str如“电影： ”是字节串，由Unicode
经过编码(encode)后的字节组成的
# 与下句不同的另一种组合字符串方式：print "电影: " + title.encode("utf-8")
print "top".decode("utf-8") + rank + ".".decode("utf-8") + \
title + " 评分".dec1ode("utf-8") + star + \
'('.decode("utf-8") + rate + ')'.decode("utf-8") + \
"\n链接：".decode("utf-8") + link + \
"\n豆瓣评论：".decode("utf-8") + quote + "\n"
结果
top1.肖申克的救赎 评分9.6(628644人评价)
链接：http://movie.douban.com/subject/1292052/
豆瓣评论：希望让人自由。
top2.这个杀手不太冷 评分9.4(598654人评价)
链接：http://movie.douban.com/subject/1295644/
豆瓣评论：怪蜀黍和小萝莉不得不说的故事。
top3.阿甘正传 评分9.4(528435人评价)
链接：http://movie.douban.com/subject/1292720/
豆瓣评论：一部美国近现代史。
top4.霸王别姬 评分9.4(430468人评价)
链接：http://movie.douban.com/subject/1291546/
豆瓣评论：风华绝代。
top5.美丽人生 评分9.4(291120人评价)
链接：http://movie.douban.com/subject/1292063/
豆瓣评论：最美的谎言。
（下略）
