今天终于开始学习爬取网页了,今天也是模仿老师的课程,敲打一次代码。
课程主要内容是提取网页的标题、标签、热度和图片的网址。最后提取热度大于3的文章。
我的成果:
我的代码:
from bs4 import BeautifulSoup
info = []
with open('E:/1080P/web/new_index.html','r') as wb_data:
Soup = BeautifulSoup(wb_data,'lxml')
images = Soup.select('body > div.main-content > ul > li > img')
titles = Soup.select('body > div.main-content > ul > li > div.article-info > h3 > a')
descs = Soup.select('body > div.main-content > ul > li > div.article-info > p.description')
rates = Soup.select('body > div.main-content > ul > li > div.rate > span')
cates = Soup.select('body > div.main-content > ul > li > div.article-info > p.meta-info')
# print(images,titles,descs,rates,cates,sep='\n-------------------\n')
for title,image,desc,rate,cate in zip(titles,images,descs,rates,cates):
data = {
'title':title.get_text(),
'descs':desc.get_text(),
'rate': rate.get_text(),
'cate': list(cate.stripped_strings),
'image': image.get('src')
}
info.append(data)
for i in info:
if float(i['rate'])>3:
print(i['title'],i['cate'])
我的总结
- 使用BeautifulSoup解析网页必须在开头就标明代码。
from bs4 import BeautifulSoup
这句话不能少。
- with open就是打开文件的意思,后面的'r'就是查阅文件,而之前学的'w'就是编写文件,不存在的话会新建一个。as wb_data,就是赋予这个文件一个名称。
- 后面那段就用上了BeautifulSoup和lxml这两个库了。这样一个网页就被解析出来了。
Soup = BeautifulSoup(wb_data,'lxml')
- 解析整个网页后,我们需要对各个提取的元素进行路径提取,为的是获取各个元素的内容。这里用Soup.select()完成。
- 不过要注意路径,必须将路径中的子孙节点去掉。这样才能够一下子提取所有的节点信息。
- sep='\n----------\n',这个是用-------------分隔开打印结果的意思。
- 用for .... in ...循环函数,将集合中的元素赋予到变量里面。in zip就是打包到一个统一的地方。
- 大部分情况下,可以用get_text函数来解决问题,提取元素中的文字信息。如果针对图片地址,要用get('src')。如果针对标签的话,要更复杂一点,因为标签是多对一的关系,必须先将路径清理干净,然后用stripped_strings来提取,前面加个list函数帮助排列。
- 最后,我们还要将热度3以上的文章找出来。这里再用一次for ... in ...,不过我们需要提前将上面的元素放到一个叫info的集合里面。