目录
- 完整代码
- 附加题
1. 完整代码
prepare_fellow_list.py
ACM的fellow列表
import requests
import pickle
# ----------- 准备阶段
# 伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Connection': 'keep-alive',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
}
# 获取网页源代码
def visitHtml(url):
'''访问网页'''
return requests.get(url, headers=headers)
# 清理网页文本数据
def cleanStr(text):
''' 清理网页字符串里的无用字符'''
# 清理 空格
# 'Masinter,\xa0Larry\xa0M' -> 'Masinter, Larry M'
# \xa0 是 html 里的空格
text.replace('\xa0', ' ')
text.replace('\t', '') # 清理 回车
text.replace('\n', '') # 清理 退格
return text
# ----------- 开始爬虫
# 目标网址
url = 'https://awards.acm.org/fellows/award-winners'
# 获取对应网页源代码
html = visitHtml(url)
# 解析
soup = BeautifulSoup(html.content, 'lxml')
# 找到指定的标签
t_table = soup.find(
'table', attrs={'summary': 'Awards Winners List'})
# 使用一个列表放置数据
fellowList = []
# 对于每一个找到的‘tr’标签，循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):
# 找到‘tr’中的‘td’标签
tdList = tr.find_all('td')
# 第一个‘td’标签是 姓名
name = tdList[0].string
cleanStr(name)
# 第三个‘td’标签是 年份
year = tdList[2].string
cleanStr(year)
# 第四个‘td’标签是 来源
nation = tdList[3].string
cleanStr(nation)
# 第五个‘td’标签是 对应的Digital Library 的档案链接
dlLink = tdList[4].a['href']
# 把这些标签的内容放置于列表中
fellowList.append([name, year, nation, dlLink])
# ----------- 使用pickle存储数据
# 存入当前文件夹下的data文件夹
dataDict = '/data/'
# 存储网页源代码，方便日后重复使用
html_file_name = 'fellow_page.pickle'
with open(dataDict + html_file_name, 'wb') as f:
pickle.dump(html, f)
# 存储 专家列表，下一步解析需要使用
fellows_file_name = 'fellow_list.pickle'
with open(dataDict + fellows_file_name, 'wb') as f:
pickle.dump(fellowList, f)
# ----------- 显示一些基础信息
print('How many fellow I obtain?')
print(len(fellowList))
crawl_multiple.py
对应的DL档案信息
import pickle
import csv
import requests
from bs4 import BeautifulSoup
# ----------- 准备阶段
# 伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'Connection': 'keep-alive',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
}
# 填入对应文件路径
dataDict = '/data/'
fellows_file_name = 'fellow_list.pickle'
with open(dataDict + fellows_file_name, 'rb') as f:
fellowList = pickle.load(f)
def visitHtml(url):
'''访问网页'''
return requests.get(url, headers=headers)
# 收集 affilication history 的信息
def collectAffiliation(soup):
# 根据table标签特有的属性找到 想要的它
tableList_aff = soup.find_all(
'table',
attrs={'align': 'center', 'border': '0',
'cellpadding': '0', 'cellspacing': '0'})
# 确认找到的内容是否正确
table = None
if len(tableList_aff) == 1: # 只找到一个，那么就是它
table = tableList_aff[0]
else: # 如果找到超过一个，那么查看该内容是否含有 'Affiliation' 字样
for tb in tableList_aff:
if 'Affiliation' in str(tb.text):
table = tb
break
# 找出这个table标签下的所有 a标签
affilication = []
for a in table.div.find_all('a'):
affilication.append(a.string) # a.string 即是 Carnegie Mellon University
return affilication
# 收集 publication 相关的信息
def collectPublication(soup):
# 根据table标签特有的属性找到 想要的它
tableList_pub = soup.find_all(
'table',
attrs={'width': '90%', 'style': 'margin-top: 1px; margin-bottom: 10px',
'border': '0', 'align': 'left'})
# 确认找到的内容是否正确
table = None
if len(tableList_aff) == 1: # 只找到一个，那么就是它
table = tableList_aff[0]
else: # 如果找到超过一个，那么查看该内容是否含有 'Affiliation' 字样
for tb in tableList_aff:
if 'Average citations per article' in str(tb.text):
table = tb
break
# 找出这个table标签下的所有 tr标签 内的所有 td标签
publication = []
for tr in table.find_all('tr'):
tdList = tr.find_all('td')
if len(tdList) != 2: # 如果该 tr标签内没有 td标签
continue # 跳过以下内容，直接进入下一次循环
item = tdList[0].string # e.g., Average citations per article
value = tdList[1].string # e.g., 12.95
publication.append([item, value]) # 放入一个列表中
return publication
# ----------- 开始爬虫
fellowInfoList = []
for fellow in fellowList:
# 获得网站解析结果
html = visitHtml(fellow[3]) # 第四项即是 digital library 的网址
soup = BeautifulSoup(html.content, 'lxml')
# 填充基础信息 name, year, nation
expertInfo = [fellow[0], fellow[1], fellow[2]]
# 收集 affiliation history
aff = collectAffiliation(soup)
expertInfo.append(','.join(aff))
# 收集 publication 信息
pub = collectPublication(soup)
expertInfo.extend([v[1] for v in pub])
fellowInfoList.append(expertInfo)
break # 该命令 使得循环提前结束，不再继续其他循环，这里用于让循环的内容只运行一次
# ----------- 使用csv存储数据
# 这是表格的标题栏
title = ['name', 'year', 'nation', 'affilication', 'Average citations per article', 'Citation Count',
'Publication count', 'Publication years', 'Available for download', 'Average downloads per article',
'Downloads (cumulative)', 'Downloads (12 Months)', 'Downloads (6 Weeks)']
csv_file_name = 'fellow_info.csv' # 文件名称
with open(dataDict + csv_file_name, 'a+', encoding='utf-8', newline='') as f:
writer = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)
writer.writerow(title) # 写入标题栏
for row in fellowInfoList: # 循环写入每一行信息
writer.writerow(row)
# ----------- 显示一些基础信息
print('How many experts do I obtain?')
print(len(fellowInfoList))
print()
print('?? too little !')
2. 附加题
我相信有了这个教程，大多数基础的数据收集任务应该可以完成了。但是“爬虫”仍然需要很多Python基础知识。当你完成基础知识的学习后，再来看这些教程也不迟。
