一、准备工作
1.1 激活虚拟环境
activate envname
1.2 新建Scrapy项目
scrapy startproject projectname
1.3 新建Spider
scrapy genspider images image.baidu.com
1.4 PyCharm打开项目
1.5 选择项目解释器
至此，可以开始编写爬虫程序了
二、网页分析
用Chrome打开百度图片，输入关键字“单色釉瓷”，右键检查元素
发现图片的URL是在标签
main_img img-hover中，而在网页源代码中却查找不到
因为百度图片的网页是动态的，采用的是Ajax+JSON机制。网页原始数据是没有图片的，通过运行JavaScript，把图片数据插入到网页的HTML标签中。所以我们在开发者工具中虽然能看到这个HTML标签，但是网页的原始数据其实没有这个标签，它只在运行时加载和渲染。真实的图片信息被打包放在JSON文件当中，所以真正要解析的是JSON文件。
点击Network–XHR，在往下滑动滚动条时，会连续出现名为acjson?tn=resultjson_com&ipn=···的请求，点击其中一条，再点击Preview，我们看到这是一条JSON数据，点开data，我们看到这里面有30条数据，每一条都对应着一张图片。
说明百度图片一开始只加载30张图片，当往下滑动滚动条时，页面会动态加载1条JSON数据，每条JSON数据里面包含了30条信息，信息里面又包含了图片的URL，JavaScript会将这些URL解析并显示出来。这样，每次滚动就又加载了30张图片。
点击Headers，对比这些JSON数据的头部信息。发现Headers下的Query String Parameters中的字段大多保持不变，只有pn字段保持以30为步长递增。
点击其中一个JSON,在Headers下的General中就有一个Request URL，其内容就是JSON的URL
三、 代码编写
3.1 构造请求
在settings.py中定义变量MAX_PAGE作为爬取页数，并将ROBOTSTXT_OBEY置为FALSE
在images.py中定义start_requests()方法，用来生成350次请求
def start_requests(self):
data = {'queryWord': '单色釉瓷', 'word': '单色釉瓷'}
base_url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord='
for page in range(1, self.settings.get('MAX_PAGE') + 1):
data['pn'] = page * 30
url = base_url + quote(data['queryWord']) + '&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=' + \
quote(data['word']) + '&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&pn=' + \
quote(str(data['pn'])) + '&rn=30&gsm=' + str(hex(data['pn']))
yield Request(url, self.parse)
运行爬虫，可看到链接都请求成功。
scrapy crawl images
3.2 提取信息
定义Item，叫作BaiduimagesItem
from scrapy import Item, Field
class BaiduimagesItem(Item):
url = Field()
pass
提取Spider里有关信息。改写parse()方法
def parse(self, response):
images = json.loads(response.body)['data']
for image in images:
item = BaiduimagesItem()
try:
item['url'] = image.get('thumbURL')
yield item
except Exception as e:
print(e)
pass
首先解析JSON，遍历其thumbURL字段，取出图片信息，再对BaiduimagesItem赋值，生成Item对象
3.3 存储信息
下载图片需要用到Scrapy提供的ImagesPipeline，首先定义存储文件的路径，需要定义一个IMAGES_STORE变量，在settings.py中添加：
IMAGES_STORE = './images'
内置的ImagesPipeline会默认读取Item的image_urls字段，并认为该字段是一个列表形式，它会遍历Item的image_urls字段，然后取出每个URL进行图片下载。
但是现在生成的Item的图片链接字段并不是image_urls表示的，也不是列表形式，而是单个的URL。所以为了实现下载，我们需要重新定义下载的部分逻辑，即要自定义ImagesPipeline，继承内置的ImagesPipeline，重写几个方法。
from scrapy import Request
from scrapy.exceptions import DropItem
from scrapy.pipelines.images import ImagesPipeline
class BaiduimagesPipeline(ImagesPipeline):
def file_path(self, request, response=None, info=None):
url = request.url
file_name = url.split('/')[-1]
return file_name
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem('Image Downloaded Failed')
return item
def get_media_requests(self, item, info):
yield Request(item['url'])
get_media_requests()，第一个参数item是爬取生成的Item对象。我们将它的url字段取出来，然后直接生成Request对象。此Request加入到调度队列，等待被调度，执行下载。
file_path()，它的第一个参数request就是当前下载对应的Request对象。这个方法用来返回保存的文件名，直接将图片链接的最后一部分当作文件名即可。它利用split()函数分割链接并提取最后一部分，返回结果。这样此图片下载之后保存的名称就是该函数返回的文件名。
item_complete()，它是当单个Item完成下载时的处理方法。因为并不是每张照片都会下载成功，所以我们需要分析下载结果并剔除下载失败的图片。该方法的第一个参数results就是该Item对应的下载结果，它是一个列表形式，列表每一个元素是一个元组，其中包含了下载成功或失败的信息。这里我们遍历下载结果找出所有下载成功的下载列表。如果列表为空，那么该Item对应的图片下载失败，随机抛出异常DropItem，该Item忽略。否则返回该Item，说明此Item有效。
修改settings.py，设置ITEM_PIPELINES，启用ImagesPipeline
ITEM_PIPELINES = {'BaiduImages.pipelines.BaiduimagesPipeline': 1}
3.4 运行爬虫
scrapy crawl images
3.5 源码记录
3.5.1 Item.py
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
from scrapy import Item, Field
class BaiduimagesItem(Item):
url = Field()
pass
3.5.2 images.py
# -*- coding: utf-8 -*-
from scrapy import Spider, Request
from urllib.parse import quote
from BaiduImages.items import BaiduimagesItem
import json
class ImagesSpider(Spider):
name = 'images'
allowed_domains = ['images.baidu.com']
start_urls = ['https://images.baidu.com/']
def parse(self, response):
images = json.loads(response.body)['data']
for image in images:
item = BaiduimagesItem()
try:
item['url'] = image.get('thumbURL')
yield item
except Exception as e:
print(e)
pass
def start_requests(self):
data = {'queryWord': '关键词', 'word': '关键词'}
base_url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord='
for page in range(1, self.settings.get('MAX_PAGE') + 1):
data['pn'] = page * 30
url = base_url + quote(data['queryWord']) + '&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=' + \
quote(data['word']) + '&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&pn=' + \
quote(str(data['pn'])) + '&rn=30&gsm=' + str(hex(data['pn']))
yield Request(url, self.parse)
3.5.3 pipelines.py
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy import Request
from scrapy.exceptions import DropItem
from scrapy.pipelines.images import ImagesPipeline
class BaiduimagesPipeline(ImagesPipeline):
def file_path(self, request, response=None, info=None):
url = request.url
file_name = url.split('/')[-1]
return file_name
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem('Image Downloaded Failed')
return item
def get_media_requests(self, item, info):
yield Request(item['url'])
四、 Python踩坑
4.1 URL编码
4.1.1 urlencode
urllib库里面有urlencode函数，可以把key-value这样的键值对转换成我们想要的格式，返回的是a=1&b=2这样的字符串，比如：
如果只想对一个字符串进行urlencode转换，则使用urllib提供的另外一个函数：quote()
3##4.1.2 urldecode
当urlencode之后的字符串传递过来之后，接收完毕就要解码了。urllib提供了unquote()这个函数，没有urldecode()！
参考链接：
https://blog.csdn.net/dodouaj/article/details/54908665
https://blog.csdn.net/qq_25109263/article/details/79445085
http://www.maiziedu.com/wiki/crawler/photograph/
https://blog.csdn.net/qq_32166627/article/details/60882964
https://blog.csdn.net/haoni123321/article/details/15814111
