豆瓣读书“编程”类目下显示有16.1万本书，但是一页一页去翻，只能翻到第50页。再往后就没有数据了....所以这里只爬了前50页的数据。
下面的代码在python3中执行有效。
目的：获取前50页每本书的名字，ID，封面图，内容简介，并保存到数据库中。
1. 思路
先打开图书页面，可以看到每页展示20本书。
然后再看一下页面的URL，https://book.douban.com/tag/编程?start=0&type=T。
关注一下里面的两个参数start和type。
当页面是第一页的时候，start=0，在第二页的时候，start=20。所以这个参数的规律就是20*第几页。
参数type，表示的应该就是当前的图书分类。
知道了URL的规律之后，一种比较简单的思路就是：先进入第一页，获取当前页面20本书的链接，之后循环获取每本书的详细信息。然后再跳转到第二页，继续上面的动作。直到结束（第50页）。
2. 实现过程
1) 项目依赖
pymysql: 用来操作数据库
requests：发送请求，并获取页面源代码
pyquery：操作dom，获取dom的值。类似jquery
2）代码
额，打字好累，直接粘贴代码吧。。。。。
# 抓取豆瓣读书某个分类下的全部书籍简介
import pymysql
import requests
import time
from pyquery import PyQuery as pq
# 分类的第一页，程序开始的起点
page = 1
type = 'T' # 用来标识书籍类型
urlArr = [0 for i in range(20)] # 存放当前页面的20条书本链接
bookIDSql = []
# 链接数据库
# 这里的urer/password/bd，需要对应替换成你自己的，prot默认是3306就可以了
db = pymysql.connect(host="localhost", user="root", password="123456", port=3306, db="mydatabase")
cursor = db.cursor()
cursor.execute("SELECT bookID FROM doubanBooksInfo")
data = cursor.fetchall()
# 获取数据库中现有的bookID
for item in data:
bookIDSql.append(item[0])
print("已经存在的bookID：", bookIDSql)
# 获取当前页面的book链接，并放进数组urlArr
def getPageUrls (page, type):
offset = 20 * (page - 1)
url = 'https://book.douban.com/tag/编程?start=' + str(offset) + '&type=' + str(type)
listPageReq = requests.get(url)
resTxt = pq(listPageReq.text)
pageUrlList = resTxt('.subject-item')
try:
if (pageUrlList):
index = 0
for item in pageUrlList:
itempq = pq(item)
thisUrl = itempq('.pic').find('a').attr('href')
urlArr[index] = thisUrl
index = index + 1
except:
print('报错了...')
# 从urlArr中依次取出链接，访问页面，获取该页面书籍的信息
def getBookInfo (url):
# 如果当前id不存在于id列表，则进行获取书籍信息的操作
if (checkBookID(getBookIDFromUrl(url), bookIDSql)):
bookPageReq = requests.get(url)
resTxt = pq(bookPageReq.text)
contentWrapper = resTxt('#link-report .intro').find('p')
# 书的ID
bookID = url.split('/')[-2]
# 书名
bookName = resTxt('#mainpic a').attr('title')
# 封面图
bookImg = resTxt('#mainpic a').attr('href')
# 书的简介
bookContent = ''
# 把多段文字拼合在一起
for tag in contentWrapper:
if (tag.text):
bookContent = bookContent + tag.text
# 插入到数据库中
inertDataToSql(bookID, bookName, bookImg, bookContent)
# 把非重复的数据插入到数据库中
def inertDataToSql (bookID, bookName, bookImg, bookContent):
sql = "INSERT INTO doubanBooksInfo(bookID, name, img, content) values (%s, %s, %s, %s)"
try:
cursor.execute(sql, (bookID, bookName, bookImg, bookContent))
db.commit()
except:
db.rollback()
# 检验当前的id是否存在id列表中
def checkBookID (currentID, bookIDList):
if (currentID not in bookIDList):
bookIDList.append(currentID)
print('该ID尚未存在，可以进行抓取')
print('已经抓取数量：', bookIDList.__len__())
return True
# 从url中获取当前的bookID
def getBookIDFromUrl (url):
currentID = url.split('/')[-2]
return currentID
# 让程序不断的执行，直到第50页
endPage = 51
while (page < endPage):
print('目前在第：', page, '页')
getPageUrls(page, 'T')
for url in urlArr:
getBookInfo(url)
time.sleep(2)
page = page + 1
数据库截图：
数据库字段截图.png
——————
程序很烂，希望后面会有时间优化。。。
