前两小节学习了网页的元素还有bs4的使用，本小节使用bs4库抓取本地html文件中有价值内容，并以【图片来源，价格，描述，评价数，评价星级】的列表来描述（是个类购物网站）。真实的网页抓取还亟需学习。具体实现细节如下，当初自己需要注意的地方一一列下
实现效果
{'price': u'$24.99', 'review': u'65 reviews', 'star': 5, 'image': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'title': u'EarPod'}
{'price': u'$64.99', 'review': u'12 reviews', 'star': 4, 'image': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'title': u'New Pocket'}
{'price': u'$74.99', 'review': u'31 reviews', 'star': 4, 'image': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'title': u'New sunglasses'}
{'price': u'$84.99', 'review': u'6 reviews', 'star': 3, 'image': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'title': u'Art Cup'}
{'price': u'$94.99', 'review': u'18 reviews', 'star': 4, 'image': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'title': u'iphone gamepad'}
{'price': u'$214.5', 'review': u'18 reviews', 'star': 4, 'image': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'title': u'Best Bed'}
{'price': u'$500', 'review': u'35 reviews', 'star': 4, 'image': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'title': u'iWatch'}
{'price': u'$15.5', 'review': u'8 reviews', 'star': 4, 'image': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'title': u'Park tickets'}
我的代码
除了星级评价，其他特征的筛选以及相应字典的构造都十分简单，对于星级评价，可以配合find_all函数和len（）实现，但是需要理解CSS SELECTOR路径。星级评价的分两种元素，我的方法是直接找出所有的元素构成的list，每五个元素进行判断一次评级，最后得到每种商品的评级。方法实现比较粗暴，有空还需要学习一下CSS Selector。
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
with open('****html path****', 'r') as web_data: #一定要注意‘/’
Soup=BeautifulSoup(web_data, 'lxml')
imgs=Soup.select('body > div > div > div.col-md-9 > div > div > div > img')
prices=Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
titles=Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
Num_rates=Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
Star_rates=Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p > span')
#stars = soup.select("div > div.ratings > p:nth-of-type(2)") 这样就可以每五个星标或没有星标作为list中的一个元素
#Count计数\\
Bgn=0
count=0
Dcount=0
Count=[]
Stars=[]
for Star_rate in Star_rates: # 一定要先转换成字符串的列表元素，bs4得到的汤是一种特殊的列表
Star_rate=str(Star_rate)
Stars.append(Star_rate)
print Stars
for x in range(0, len(imgs)):
if '<span class="glyphicon glyphicon-star-empty"></span>' in (Stars[Bgn:Bgn+5]):
#print str(Star_rates[Bgn:Bgn+5])
count=(Stars[Bgn:Bgn+5]).index('<span class="glyphicon glyphicon-star-empty"></span>') #第一个empty也就是没有星标的元素出现的位置也就是该商品的评分呀
else:
count=5
Bgn=Bgn+5
Count.append(count)
print count
print Count
#构造dict
Info=[]
for img,price,title,Num_rate,value in zip(imgs,prices,titles,Num_rates,Count):
data={
'img': img.get('src'),
'price':price.get_text(),
'title': title.get_text(),
'Num_rate': Num_rate.get_text(),
'Star': value
}
print data
总结
- lxml库安装真的是个大坑，‘html.paeser'得到的soup不够美味呀。无奈最近台式机网络太烂，无法pip install，使用pycharm缺少h文件，最后还是安利一下Enthougth Canopy，集成了很多py库，帮助我解决了这个问题
- 到底那个stars 怎么select得到的？？？？？
- 最后select后的内容是一种特殊的list，每一个元素如果要作为字符串使用必须要遍历后进行字符串的强制转换
