一、背景
在日常的数据分析工作中，经常会去寻找数据来源，因此会时常见到网页表格信息，并且不能直接复制到excel表中。为了能快速的将网页中的表格信息获取，并进行分析总结，最后呈报上级领导。所以需要思考怎么去获取信息更方便快捷，当然正常的网页爬取也是可行，但是要相对复杂一些，这里我们选用pandas库进行操作，表格爬取易如反掌。
二、必要知识
在开始获取表格信息之前，需要了解一些pandas方法。pandas库的文档可以参考：https://www.pypandas.cn/docs/
1、pandas.DataFrame.to_csv方法：将数据保存为csv格式
DataFrame.to_csv(self, path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression='infer', quoting=None, quotechar='"', line_terminator=None, chunksize=None, date_format=None, doublequote=True, escapechar=None, decimal='.')
- 文件路径（path_or_buf）：这个需要注意相对路径和绝对路径的区别。
- 分隔符（sep）：默认情况下，数据是逗号进行分割。
- 替换空值（na_rep）：默认情况下是空。
- 格式（float_format）：可以设置格式。
- 保留例（columns）：可以在columns填需要保留的例。
- 是否保留列名（header）：默认情况是保留。
- 是否保留索引（index）：默认情况下保留。
2、pandas.read_html方法：将HTML网页中的表格解析为DataFrame对象，返回列表。详参：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_html.html#pandas.read_html
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
- 数据（IO）：接收网址、文件、字符串。
- 正则匹配数据（match）：正则表达式，返回与正则表达式匹配的表格。
- 解析方式（flavor）：解析器默认为‘lxml’，如果失败则返回bs4 + html5lib。
- 标题行（header）：指定列标题所在的行，list为多重索引。
- 解码方式（encoding）：解码方式，默认使用网页文档中的编码方式。
三、爬取表格数据
1、分析网站
本次示例的网站地址是：世界大学排名网站，地址见代码。经过分析，网站的请求方式GET，爬取难度比较小。
然后，定位获取表格数据。
最后，代码实现表格数据的爬取。
import pandas as pd
import requests
from fake_useragent import UserAgent
import random
from lxml import etree
'''请求头函数'''
def agent():
ua = UserAgent()
# 随机选择chrome、ie、firefox请求头
useragent = random.choice([ua.chrome, ua.ie, ua.firefox])
headers = {
'User-Agent': useragent,
'Referer': 'https: // cn.bing.com /'
}
return headers
'''解析网页数据'''
def parse_html(url):
try:
resp = requests.get(url, headers=agent())
# 将编码方式设置为从内容中分析出的响应内容编码方式
resp.encoding = resp.apparent_encoding
if resp.status_code == 200:
tree = etree.HTML(resp.text)
# 定位获取表格信息
tb = tree.xpath('//table[@id="rk"]')
# 将byte类型解码为str类型
tb = etree.tostring(tb[0], encoding='utf8').decode()
return tb
else:
print('爬取失败')
except Exception as e:
print(e)
def main():
url = 'http://www.compassedu.hk/qs_'
tb = parse_html(url)
# 解析表格数据
df = pd.read_html(tb, encoding='utf-8', header=0)[0]
# 转换成列表嵌套字典的格式
result = list(df.T.to_dict().values())
# 保存为csv格式
df.to_csv('university.csv', index=False)
print(result)
if __name__ == '__main__':
main()
结果展示：
四、分析表格数据信息
1、编码格式转换
虽然，表格数据已经保存到本地.csv文件中，但是用excel打开时发现是乱码，而在代码编辑器中打开又显示正常，这是什么原因。其实，很简单，撸代码的时候经常会遇到编码问题。只需要把excel编码的方式改变，并保存为excel格式的数据文件即可。
首先，创建一个university.xlsx文件，然后打开它。在工具栏“数据”中找到“从文本/csv”导入数据，选择数据源文件，也就是网上爬取的university.csv数据文件。最后点击“导入”
选择文件编码方式，这里选择的是utf-8的编码方式。这里csv默认情况下数据是逗号进行分隔，所以不用再选择。最后点击加载即可。
2、数据分析
现在数据已经全部正常展示在excel表中，接着点击“插入”数据透视表，或者用快捷方式ctrl+q也可以。最后点击确定。
接着，再在数据透视表中进行调整，分析数据，得出结论。
最后，所以对于数据量不是非常大的情况，用excel的数据透视表功能，灵活的处理、分析、展示数据信息也是一种十分高效的方法。
