创建一个工程和Spider模板
我们先用命令行创建一个Scrapy工程：
$ scrapy startproject soudu
接着，我们进入到工程目录：
$ cd soudu
我们来看一下目录结构：
tree
# OUT:
├── soudu #外层目录
│ ├── __init__.py #初始化脚本
│ ├── __pycache__ #Python缓存文件。暂时无视
│ ├── items.py #Items代码模板，继承类自scrapy.Item
│ ├── middlewares.py #Middlewares代码模板(继承类)
│ ├── pipelines.py #Pipelines代码模板(继承类)
│ ├── settings.py #Scrapy爬虫的配置文件
│ └── spiders #Spiders代码模板目录 我们写爬虫的地方
│ ├── __init__.py
│ └── __pycache__
└── scrapy.cfg #部署爬虫的配置文件
4 directories, 7 files
最后，我们用命令行创建第一个Spider：
$ scrapy genspider right www.sodu.cc
这样我们就创建了一个名为right的爬虫了
步骤二：编写Spider
我们来着手定制我们的爬虫吧：
看一下详细的注释
# -*- coding: utf-8 -*-
import scrapy
# 将我们需要爬的项目引入进来
from soudu.items import SouduItem
class DemoSpider(scrapy.Spider):
#该爬虫的名字
name = "title"
#规定爬虫爬取网页的域名
allowed_domains = ['www.sodu.cc']
#开始爬取的url链接
start_urls = ['http://www.sodu.cc/']
def parse(self, response):
'''
parse()函数接收Response参数，就是网页爬取后返回的数据 用于处理响应，
他负责解析爬取的内容 生成解析结果的字典，并返回新的需要爬取的请求
'''
#由于是demo 我们不做完全的功能， #只要求爬取出第一部小说的名字
#xpath规则可以通过查看网页源文件得出，chrome右键检查定位到所要爬取的内容
name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0]
#建立一个items字典，用于保存我们爬到的结果，并返回给pipline处理
items = {}
items['第一部小说名']= name
return items
步骤三：编写Item Pipeline
首先我们编写itmes.py来定义这个爬虫框架需要爬哪些内容：
import scrapy
class SouduItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
name = scrapy.Field()
接着我们编写 piplines.py来处理spider爬到的内容:
class ZimukuPipeline(object):
def process_item(self, item, spider):
# 因为是最简单的，所以我们把爬到的结果打印一下
print(item)
return item
步骤四：优化配置Settings.py
BOT_NAME = 'soudu'
SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
#只增加了这一行，通过配置告诉Scrapy明白是谁来处理结果
ITEM_PIPELINES = {
'soudu.pipelines.SouduPipeline': 300,
}
首先我们通过命令来执行爬虫：
$ scrapy crawl title
我只截取部分我们需要的内容:
2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小说名': '圣墟'}
