python爬取维基百科词条，获得某词汇页面中释义段落的加粗词汇、链接词汇以及所爬词汇对应的分类，为自动构建同义词汇树准备数据。
以下代码可能为一次性代码，因为解析html靠的是标签的相对位置，维基百科的html标签修改后，可能会对爬虫有影响，所以先给出学习爬虫的资料，页面改动后代码对应改动即可。
requests库使用教程
BeautifulSoup使用教程
这个爬虫是爬取我指定文件中包含的词汇，并不是在维基百科随便爬取，你可以在一个文件中指定要爬取的词汇，也可以看这篇文章获得指定文件。
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
def get_word(folder_name, file_name):
fp = open(folder_name + '/' + file_name, 'r')
for line in fp:
yield line.split('\t')[0]
fp.close()
def download_html(url, word):
response = requests.get(url + word)
return response.text
def parse_html(html, word):
'''
维基百科3类不正常页面：
1. 消歧页
2. 重定向页
3. 长度过短文章 (不必处理)
'''
def write2file(fp, arr):
for item in arr:
fp.write(item.encode('utf-8') + '#')
fp.write('|||')
soup = BeautifulSoup(html, 'html.parser')
content = soup.find(id='mw-content-text')
redirect = soup.find(attrs={'class' : 'mw-redirectedfrom'})
title = ''
if redirect != None:
title = soup.find(id='firstHeading').text
print '重定向到', title
ambiguity = content.find_all(id='disambigbox')
if len(ambiguity) != 0:
'''
对歧义词分文件存储
'''
print '是消岐页'
fp_ambiguity = open('ambiguity.txt', 'a')
fp_ambiguity.write(word + '|||' + title.encode('utf-8') + '|||')
# 加粗的词汇
paragraphs = content.find_all('b')
for b in paragraphs:
fp_ambiguity.write(b.text.strip().encode('utf-8') + '#')
fp_ambiguity.write('|||')
# 消歧页的歧义列表 取出链接指向关系
lis = content.find_all('li')
for li in lis:
fp_ambiguity.write(li.a.text.strip().encode('utf-8') + '#')
fp_ambiguity.write('|||')
fp_ambiguity.write('\n')
fp_ambiguity.close()
return
# 取出词汇的分类
catlinks_arr = []
catlinks = soup.find(id='mw-normal-catlinks').find_all('li')
for catlink in catlinks:
catlinks_arr.append(catlink.a.text)
arr_para = []
arr_b = []
arr_a = []
for children in content.children:
if children.name == 'p':
if children.text == '':
break
# 取出整段的释义
arr_para.append(children.text.strip())
# 取出加粗词汇
bs = children.find_all('b')
if len(bs) != 0:
for b in bs:
arr_b.append(b.text.strip())
# 取出链接词汇
ass = children.find_all('a')
if len(ass) != 0:
for a in ass:
arr_a.append(a.text.strip())
fp = open('result.txt', 'a')
fp.write(word + '|||' + title.encode('utf-8') + '|||')
write2file(fp, catlinks_arr)
write2file(fp, arr_b)
write2file(fp, arr_a)
write2file(fp, arr_para)
fp.write('\n')
fp.close()
def main():
root_url = 'https://zh.wikipedia.org/wiki/'
for word in get_word('../zh_labels', 'labels_result.txt'):
print '爬取', word
try:
html = download_html(root_url, word)
parse_html(html, word)
except:
print word, '爬取失败'
fp = open('error_log.txt', 'a')
fp.write(word + '\n')
fp.close()
continue
print 'done'
pass
if __name__ == '__main__':
main()
pass
注意修改代码中关于文件的路径
get_word(folder_name, file_name)函数从指定文件中取出待爬取的词汇。
download_html(url, word)函数下载对应url的html源码，并交给parse_html(html, word)函数解析。
维基百科的词条页面有4种情况：
- 正常页面
- 重定向，即用某个词汇访问url，会被带到另一个词汇页面。如访问https://zh.wikipedia.org/wiki/狗，会被维基百科带到了https://zh.wikipedia.org/wiki/犬页面。
- 歧义，即访问的词汇有多种含义，对于这种页面，我取出加粗词汇和歧义词汇（链接词汇）。如访问https://zh.wikipedia.org/wiki/金毛狗，会出现这样的页面：
- 未收录词汇，如访问https://zh.wikipedia.org/wiki/性质，会出现这种情况：
数据存储：
分三个文件存储：
- 正常词汇的维基百科数据，按如下格式存储：
被爬取词汇|||重定向词汇|||分类1#分类2#|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||释义段落1#释义段落2#|||\n
\n代表换行 - 歧义词汇的维基百科数据，按如下格式存储：
被爬取词汇|||重定向词汇|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||\n - 未收录词汇和爬取出错的词汇，全部写入
error_log.txt文件中。
