1. 题目
第 0008 题：一个HTML文件，找出里面的正文。
第 0009 题：一个HTML文件，找出里面的链接。
2. 介绍
Python的一大魅力就在于爬虫方向的应用。
这两题都是对于Python爬取网页， 解析网页的简单应用。 本篇就从一个实际的例子出发：爬取王垠博客里的所有文章， 介绍一下requests和Beautifulsoup库的应用。
pip install requests
pip install beautifulsoup4
【注意】beautifulsoup3已经停止开发， Python35版本使用beautifulsoup4时，引用格式为from bs4 import BeautifulSoup。
3. 抓取所需的链接
首先，分析网站的源码。包含所需链接的源码形如：
<li class="list-group-item title">
<a href="http://yinwang.org/blog-cn/2016/06/22/plan-change">两个计划的变动</a>
</li>
<li class="list-group-item title">
<a href="http://yinwang.org/blog-cn/2016/06/20/it-and-society">IT业给世界带来的危机</a>
</li>
<a>标签中，href属性的值为所需的链接， 文字信息为文章的标题。下面就可以先通过requests库获取网页， 然后通过BeautifulSoup库，选择出所需的信息。
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
'Host': "www.yinwang.org",
'Pragma': "no-cache"
}
requests = requests.Session()
def get_doc_urls():
result = {}
req = requests.get("http://www.yinwang.org/", headers=headers, verify=False)
soup = BeautifulSoup(req.content, "lxml")
tmp = soup.find_all("li", class_="list-group-item title")
for block in tmp:
title = block.a.text
url = block.a.get("href")
result[title] = url
return result
这样， 我们就得到了一个标题和连接的映射dict， 下面就可以挨个下载这些网页了。
【注意】很多时候直接调用requests.get(url)无法得到想要的结果，需要写一个headers来伪装成浏览器的调用。
def download_html(url_dict):
if len(url_dict) < 1:
return
for name, url in url_dict.items():
req = requests.get(url, headers=headers, verify=False)
with open(name + ".html", "wb") as file:
for chunk in req.iter_content(100):
file.write(chunk)
在向本地写入文件时候，最好采用我这样的方法，也是requests官方文档中所建议的。
4. Beautifulsoup库中find()的几种用法
- 抓取标签中的文字
<!-- 例子1： 抓取div中的文字信息-->
<div class="pr">
为了账号安全，请及时绑定邮箱和手机
</div>
str = soup.find("div", class_="pr").text
- 抓取href属性的链接
<!-- 例子2： 抓取href中的链接 -->
<a href="/u/00000/courses" class="sort-item active">最近学习</a>
str = soup.find("a", class_="sort-item active").get("href")
- 子标签不好标识的情况下，抓取父标签在抓子标签
<!-- 例子3： 抓取span中的文字 -->
<h3 class="user-name clearfix">
<span>tyroneli</span>
</h3>
str = soup.find("h3", class_="user-name clearfix").find(span)
