Requests-BS4-Re库实验
[TOC]
1. 中国大学排名定向爬虫
基本流程:爬取内容,分析,输出
功能描述:
输入:大学排名URL
输出:大学排名信息的屏幕输出(排名,大学名称,总分)
技术路线:requests-bs4
文本分析:
<tbody class="hidden_zhpm" style="text-align:center;">
<tr class="alt"><td>1</td>
<td><div align="left">清华大学</div></td>
<td>北京市</td><td>95.9</td><td class="hidden-xs need-hidden indicator5">100.0</td><td class="hidden-xs need-hidden indicator6" style="display:none;">97.90%</td><td class="hidden-xs need-hidden indicator7" style="display:none;">37342</td><td class="hidden-xs need-hidden indicator8" style="display:none;">1.298</td><td class="hidden-xs need-hidden indicator9" style="display:none;">1177</td><td class="hidden-xs need-hidden indicator10" style="display:none;">109</td><td class="hidden-xs need-hidden indicator11" style="display:none;">1137711</td><td class="hidden-xs need-hidden indicator12" style="display:none;">1187</td><td class="hidden-xs need-hidden indicator13" style="display:none;">593522</td></tr><tr><td>2</td>
可以看到,<tbody>标签下是大学排行表格,<td>标签内是排名、名称和位置、总分,所以只需要提取相应标签中的内容即可,使用BS4库中find_all函数
main函数
def main():
uinfo = []
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20)
getHTMLText函数
def getHTMLText(url): #input url
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ''
fillUnivList函数
def fillUnivList(ulist, html):
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find('tbody').children: #子结点迭代
if isinstance(tr, bs4.element.Tag): #判断是否是Tag
tds = tr('td') #find_all
ulist.append([tds[0].string,tds[1].string,tds[2].string]) #将tag中字符串构成新元素添加到表尾
printUnivList函数
def printUnivList(ulist, num):
tmp = '{0:^10}\t{1:{3}^10}\t{2:^10}'
print(tmp.format("排名","学校名称","分数", 'c')) #格式化输出
for i in range(num):
u = ulist[i]
print(tmp.format(u[0],u[1],u[2],chr(12288)))
print("suc" + str(num))
2. 淘宝商品比价定向爬虫
功能描述:
目标:获取淘宝搜索页面的信息,提取商品名称和价格
内容:
淘宝搜索接口(URL格式)
翻页的处理
技术路线:requests-bs4-re
查看robots.txt协议时,尽管里面禁止一切爬虫,不过考虑到我们这里只有一次访问,访问量类人,所以不用遵循协议。
此外,由于淘宝页面使用了反爬虫,所以在getHTML时,将用户域设为浏览器。
main函数
def main():
goods = 'sd卡'
depth = 3 #定义页数
start_url = 'http://s.taobao.com/search?q=' + goods #关键词接口
uli = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44 * i)
html = getHTML(url)
fillList(uli, html)
except:
print('error')
continue
printList(uli)
fillList函数
#从文本获得商品价格列表
def fillList(uli, html):
try:
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html) #使用正则表达式匹配,最小匹配
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
for i in range(len(tlt)):
title = eval(tlt[i].split(':')[1])
price = eval(plt[i].split(':')[1])
uli.append([price,title])
except:
print("")
printList函数
#打印商品价格列表
def printList(uli):
tplt = '{:4}\t{:8}\t{:16}'
print(tplt.format("序号",'价格','名称'))
count = 0
for u in uli:
count = count + 1
print(tplt.format(count, u[0], u[1]))
3. 股票数据定向爬虫
这次采用两个网站搭配使用,先从东方财富网提取所有股票代码,接着利用百度股票的接口查询个股信息,输出到文件。
main函数
def main():
stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
stock_info_url = 'https://gupiao.baidu.com/stock/'
output_file = 'D:/BaiduStockInfo.txt'
slist = []
print('start...')
getStockList(slist, stock_list_url)
getStockInfo(slist, stock_info_url, output_file)
getStockList函数
def getStockList(lst, stockURL):
html = getHTML(stockURL)
soup = BeautifulSoup(html,'html.parser')
a = soup.find_all('a')
for i in a:
try:
href = i.attrs['href']
lst.append(re.findall(r'[s][hz]\d{6}',href)[0])
except:
continue
getStockInfo函数
def getStockInfo(lst, stockURL, fpath):
for stock in lst: #对所有股票代码遍历
url = stockURL + stock + '.html' #构成百度股票URL
html = getHTML(url)
try:
if html == '':
continue
infoDict = {}
soup = BeautifulSoup(html, 'html.parser')
stockinfo = soup.find('div',attrs = {'class':'stock-bets'})
name = stockinfo.find('a',attrs = {'class':'bets-name'})
infoDict.update({'股票名称':name.text.split()[0]}) #更新字典
keylist = stockinfo.find_all('dt')
valuelist = stockinfo.find_all('dd')
for i in range(len(keylist)):
key = keylist[i].text
value = valuelist[i].text
infoDict[key] = value
with open(fpath, 'a', encoding = 'utf-8') as f:
f.write(str(infoDict) + '\n')
except:
traceback.print_exc()
continue