什么是BeautifulSoup
BeautifulSoup库的名字来源于<爱丽丝梦游仙境>里的同名诗歌它通过定位HTML标签来格式化和组织复杂的网络信息,用简单易用的Python对象为我们展现XML结构信息.
安装BeautifulSoup
安装好python和pip后
Mac系统安装
$sudo easy_install pip
$pip install beautifulsoup4
Linux安装
$sudo apt-get install python-bs4
Win安装
$pip install beautifulsoup4
运行Beautifulsoup
安装好后我们来运行一下,看看beautifulsoup4的强大,我们用https://500px.com来做测试
from bs4 import BeautifulSoup
from urllib.request import urlopen
html = urlopen("https://500px.com")
bsObj = BeautifulSoup(html.read())
print(bsObj.h1)
<h1 class="header_section__headline">Get inspired and share your best photos</h1>
我们已经提取了https://500px.com这个HTML页面里的<h1>标签了,在这之前最好有HTML语言的基础,因为这样可以更精准的提取HTML和XML节点信息.
容错处理
在爬取的过程中经常出现一些错误,造成这些错误的原因可能是网页数据格式不友好,网站服务器宏机,目标数据的标签找不到,这个时候我们就需要做下容错处理.
我们先来分析一下我们经常会遇到的错误
- 网页在服务器上不存在
- 服务器不存在
第一种异常程序会返回HTTP错误,HTTP错误可能是"404 Page Not Found""""500 Internal Sever Error"等,这些错误都会抛出一个"HTTPError"异常.
我们用下面方式来处理:
try:
html = urlopen("https://500px.com")
except HTTPError as e:
print(e)
# 返回空值,中断程序或者执行别的程序
else:
#程序继续
第二种异常发生的时候,uropen会返回一个None对象,所以我们可以增加一个判断语句检测返回的html是不是None
if html is None:
print('URL is not found')
else:
#程序继续
如果你要找的标签在Beautifulsoup里没有,找不到就会返回一个AttributeError错误.
例如:
from bs4 import BeautifulSoup
from urllib.request import urlopen
html = urlopen("https://500px.com")
bsObj = BeautifulSoup(html.read())
print(bsObj.nonEX) # nonEX是一个虚拟标签,在beautifulsoup里边没有
None
这时候返回了一个None,如果不检查,直接调用这个None对象的子标签,就会有错误:
print(bsObj.nonEX.someTag)
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-5-f4d08128503b> in <module>()
----> 1 print(bsObj.nonEX.someTag)
AttributeError: 'NoneType' object has no attribute 'someTag'
那么我们怎么避免这两个异常呢?通常的情况下我们可以把两个错误写一起,但是那样会显得累赘,所以我们在网络爬虫的情况下一般写成这样:
from bs4 import BeautifulSoup
from urllib.request import urlopen
from urllib.request import HTTPError
def getTitle(url):
try:
html = ulopen(url)
except HTTPError as e:
return None
try:
bsObj = BeautifulSoup(html.read())
title = bsObj.body.h1
except AttributeError as e :
return None
return title
title = getTitle("https://500px.com")
if title == None:
print('Title could not be found')
else:
print(title)
