目标：根据最近学习的python(selenium+pyquery)爬取当当网图书排行榜
宣言：涨薪仍未成功，码农仍需努力，Write Less Do More!
页面分析
- 目标地址：http://bang.dangdang.com/books/bestsellers
-
共有“图书畅销榜”，“新书热卖榜”，“童书榜”，“图书尾品汇榜”，“五星图书榜”，“图书飙升榜”，“电子书畅销榜”，“电子书新书热卖榜”八种不同的排行榜，页面上表现为一个tab切换，点击之后发现浏览器地址栏刷新，说明不是ajax请求，点击翻页时发现页面也有刷新，并且地址栏的参数有变化，url最后一个参数为翻页参数，找到规则后开始爬取。
QQ截图20190131165451.png
代码
# 系统windows10 python3
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from pyquery import PyQuery as pq
from urllib.parse import quote
import json
import time
browser=webdriver.Chrome()
wait=WebDriverWait(browser,30)
'''
获取图书排行榜分类，得到分类名称和url
'''
def books_category():
browser.get('http://bang.dangdang.com/books/bestsellers')
try:
wait.until(
EC.presence_of_element_located( (By.CSS_SELECTOR, '.bang_title > div.tab > h2') )
)
# xmlns 如果不将这个参数去掉，则无法使用pq定位子级标签
html=(browser.page_source).replace('xmlns="http://www.w3.org/1999/xhtml"','')
doc=pq(html)
cate_list=doc('.bang_title .tab h2').items()
for cate in cate_list:
cate_name=cate.find('a').text().strip()
cate_url=cate.find('a').attr('href').strip()
yield {
'cate_name' : cate_name,
'cate_url' : cate_url
}
except TimeoutError:
print(e.message)
'''
获取每个分类总页数
'''
def get_total_page(url):
browser.get(url)
try:
total=wait.until(
EC.presence_of_all_elements_located( (By.CSS_SELECTOR, '.paginating > ul.paging > li:nth-last-child(3) > a' ) )
)
return total[0].text
except TimeoutError:
print(e.message)
'''
获取需要爬取的页面
'''
def get_page(url, name, page_number):
browser.get(url)
try:
#到页面底部
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
#等待加载完成
wait.until(
EC.presence_of_all_elements_located( (By.CSS_SELECTOR, '.bang_list_box > .bang_list > li' ) )
)
#判断是否翻页成功
wait.until(
EC.text_to_be_present_in_element( (By.CSS_SELECTOR, '.paginating > ul.paging > li > a.current'), str(page_number) )
)
#如果不将xmlns属性去掉，使用pyquery时无法根据标签名称获取子级标签
html=(browser.page_source).replace('xmlns="http://www.w3.org/1999/xhtml"','')
write_to_file(parse_html(html,name))
except TimeoutException:
get_page(url, name, page_number)
'''
使用pq抽取有用的信息
'''
def parse_html(html,cate_name):
doc=pq(html)
lis=doc('.bang_list_box .bang_list li').items()
for li in lis:
name=li.find('div.name a').text()
img=li.find('div.pic a img').attr('src')
author=li.find('div:nth-child(5) a').text()
publisher=li.find('div:nth-child(6) a').text()
original_cost=li.find('div.price p span:nth-child(1)').text()
discount_price=li.find('div.price p span:nth-child(2)').text()
discount=li.find('div.price p span:nth-child(3)').text()
yield {
'cate_name' : cate_name,
'books_infos':{
'name' : name,
'img' : img,
'author' : author,
'publisher' : publisher,
'original_cost' : original_cost,
'discount_price' : discount_price,
'discount' : discount
}
}
'''
将抓取的数据写入文件
'''
def write_to_file(jsondata):
for x in jsondata:
with open('dangdang.json','a',encoding='utf-8') as f:
f.write(json.dumps(x,ensure_ascii=False) + '\n')
f.close()
def main():
cate_list=books_category()
for cate in cate_list:
total=int(get_total_page(cate['cate_url']))
for i in range(1,total+1):
print('正在爬取%s，共%i页，正在抓取第%i页' % (cate['cate_name'], total, i))
cate_url=cate['cate_url'][:len(cate['cate_url'])-1] + str(i)
get_page(cate_url, cate['cate_name'], i)
time.sleep(3)
print('数据抓取完成')
if __name__=='__main__':
main()
代码执行
cd D:\test\python\
py .\dangdang.py
截图
dangdang.png
json.png
done.png
