学着用一下框架,参考了小白进阶之Scrapy第一篇(这篇文章写的很详细),采集顶点小说
- 首先在item里定义字段
name = scrapy.Field() # 小说的名字
author = scrapy.Field() # 小说的作者
novelurl = scrapy.Field() # 小说地址
status = scrapy.Field() # 状态
number = scrapy.Field() # 连载字数
category = scrapy.Field() # 文章类别
name_id = scrapy.Field() # 小说编号
- 创建dingdian.py导入需要的模块
import scrapy
import re
from dingdian.items import DingdianItem
from scrapy.http import Request
from bs4 import BeautifulSoup
- 根据不同分类的小说作为入口url,观察特征,编写start_urls列表
class DingdianSpider(scrapy.Spider):
name = 'dingdian' # 项目名称,必须是唯一的
allowed_domains = ['23us.com'] # 域名
start_urls = [] # 构建各个类型首页url的列表
for i in range(1, 11):
url = 'http://www.23us.com/class/%d_1.html' % i
start_urls.append(url)
- 编写parse函数解析response构建出所有页面的url
def parse(self, response):
'''
解析每一个类型的首页url并返回这个类型的所有页面url
:param response:
:return:
'''
pattern = '>1/(\d+)<'
html = response.text
max_num = re.findall(pattern, html)[0] # 构建re获取各个类型的最大页面数
prefix_url = str(response.url)[0:28]
for num in range(1, int(max_num)+1):
url = prefix_url + str(num) + '.html' # 构建每一页的完整url
yield Request(url, callback=self.get_url)
# 将页面的response交给get_url()函数处理
首先是根据正则表达式获取最大页码值,然后拼接处完整的url,并将response传递给下一个函数.
-
写一个get_url()函数获取每一页小说简介的url,跟原博思路不太一样的是我先找到小说的简介的url再去简介里面获取需要的信息,因为我发现简介里面有需要的所有信息,很详细.
简介.png
def get_url(self, response):
'''
根据每个页面的url找到这个页面中所有书籍的简介url
:param response:
:return:
'''
# pattern1 = 'title="(.*?)简介"' # name的正则表达式(偷懒用re)
pattern2 = 'a href="(.*?)" title=' # 构造简介的url的正则表达式
html = response.text
# names = re.findall(pattern1, html)
urls = re.findall(pattern2, html)
for u in urls:
yield Request(u, callback=self.get_all) # 将简介的url交给get_all处理
本来打算在这个函数提取出小说名,根据title=这个规律,但发现不好传递给下一个函数,就只提取一个简介的url好了,下一个函数再把所有需要的提取出来.
2017-05-02 获取name正则.png
- 最后就是get_all(),提取我们需要的所有吧.
def get_all(self, response):
'''
处理页面,匹配各项内容并返回item字典
:param response:
:return:
'''
item = DingdianItem()
html = response.text
name = BeautifulSoup(html, 'lxml').find('h1').get_text().split()[0]
novelurl = BeautifulSoup(html, 'lxml').find('a', class_='read')['href']
bs_table = BeautifulSoup(html, 'lxml').find('table')
author = bs_table.find_all('td')[1].get_text().split()[0]
status = bs_table.find_all('td')[2].get_text().split()[0]
number = bs_table.find_all('td')[4].get_text().split()[0][:-1]
category = bs_table.find_all('td')[0].get_text().split()[0]
name_id = re.findall('down/(\d+)', html)[0]
item['name'] = name
item['author'] = author
item['novelurl'] = novelurl
item['status'] = status
item['number'] = number
item['category'] = category
item['name_id'] = name_id
return item
都是一些简单的提取代码,没什么好解释的.Spider就写完了.
- 定义pipeline存入MySQL,刚看了下MySQL语法,这段基本上是copy了原博的代码,修改settings
-
昨晚run了一下,40秒存入3500多条数据,大概是120个页面,就心满意足的上床睡觉了.
-
今天早上起来想着把数据全爬下来(8点多看小说的人应该睡着了吧,这个时候服务器访问量没那么大,减轻服务器压力).
洗脸刷页回来发现好多重定向,数据总共只有5000多条,还不如40秒勒.在settings里禁止了重定向数据也没有多起来.
- 顶点就先这样吧,总结一下,页面比较简单,都是静态没有Ajax,好像也没有限制ip访问频率,这个重定向对我来说拎不清.还有一些想法没精力和能力实现的:能不能把url放进set去重代替MySQL判断,怎么提高速率(多进程?).源码
- 以前觉得把过程记录下来好占时间,但自己看了别人的优秀博客学到了很多,也应该多记录,留下点什么作为传承(虽然自己水了点,莫欺少年穷),也方便自己回顾,再理一遍.
