Scrapy爬虫-爬取豆瓣乐评保存到Mongodb

一、爬取分析

豆瓣音乐是国内音乐资料及评论网站，现在想爬取豆瓣音乐下所有的音乐评论（乐评），乐评属于音乐介绍下的子菜单，本文以周杰伦的叶惠美为例，url：https://music.douban.com/subject/1406522/

可以看到叶惠美下有122条长评论，爬取思路：

1、先获取所有乐评的页面url，点击“全122条”即是这首歌全部乐评页面。可以看到122条长评论，共7页。（歌曲url+reviews）

2、每页我们按照时间排序获取评论，点击“最新发布的”。（歌曲url+reviews+?sort=time）

3、获取每页评论的url，经分析，每页页面url是有规则的（歌曲url+reviews+?sort=time+&start=10整数倍）

4、获取每页每条评论的url。

5、根据每条评论url，获取每条评论的内容。
评论标题、评论内容、评论者、评论音乐、评论时间、评论url

二、Scrapy代码实现

2.1 创建项目

使用命令Scrapy>scrapy startproject douban

2.2 创建爬虫文件

通过下面命令快速创建CrawlSpider模板的spider爬虫文件music_reviews.py：
scrapy genspider -t crawl music_reviews music.douban.com

使用Pycharm打开douban项目

2.3 编写items.py文件

items.py主要是定义保存想要爬取的内容，是进行数据保存不可缺少的步骤，通过它进行数据的整理并通过Pipelines进行数据的数据库保存，图片下载等，它只有一种类型scrapy.Field()。

2.3 编写爬虫文件music_reviews.py文件

爬虫文件定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，爬虫文件就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

2.3 编写setting.py文件

setting.py文件提供了定制Scrapy组件的方法，可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比设置Json Pipeliine、LOG_LEVEL等。
本次我们需要设置有：

爬取的默认User-Agent，在google浏览器输入chrome://version/可以得到用户代理USER_AGENT。
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
下载器在下载同一个网站下一个页面前需要等待的时间。
DOWNLOAD_DELAY = 1
禁用Cookies
COOKIES_ENABLED = False
遵守 Robot协议
ROBOTSTXT_OBEY = True

2.4 运行爬虫项目

使用scrapy crawl music_reviews -o review.json运行爬虫项目，爬去返回结果用-o review.json输出创建review.json文件，结果保存到其中。

运行过程：

爬取结束：
总共爬取保持122个item，对应我们总共122条评论。

2.5 查看爬取结果

总共122行结果，和总评论数是一致的！不过文件结果中文显示的是Unicode码，后面我们用pipelines.py指定编码格式。

2.5 编写pipelines.py文件

当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：

验证爬取的数据(检查item包含某些字段，比如说name字段)
查重(并丢弃)
将爬取结果保存到文件或者数据库中。

为了启用Item Pipeline组件，必须将它的类添加到 settings.py文件ITEM_PIPELINES 配置。

所以上面的案例，我们首先编写pipelines.py

然后再setting.py文件中启用Pipeline组件。

最有，要在爬虫文件中将获取的数据交给pipeline组件（把之前写的return注释掉）

最后使用命令scrapy crawl music_reviews运行爬虫项目。

查看结果，现在中文显示正常了。

2.6 增加run.py文件运行爬虫项目的方式

增加一个文件在Pycharm快速运行爬虫项目，替代以前命令行方式启动运行，两者其实大同小异。

三、爬取结果保存到Mongodb中

3.1 在setting.py文件中加入你的mongodb的连接信息，爬取存储库表信息。

# MONGODB 主机名
MONGODB_HOST = "127.0.0.1"

# MONGODB 端口号
MONGODB_PORT = 27017

# 数据库名称
MONGODB_DBNAME = "Douban"

# 存放数据的表名称
MONGODB_SHEETNAME = "douban_music_reviews"

3.2 修改pipelines.py文件

注释掉以前写保存为本地json文件的代码，增加存入Mongodb部分。

3.3 运行测试

点击运行之前写的run.py文件

整个项目Gitee地址：

https://gitee.com/yangpengming/spider_douban_music_reviews.git