大家好，我是Alex~。
谈及Pandas的read.xxx系列的函数，大家的第一反应会想到比较常用的pd.read_csv()和pd.read_excel()，大多数人估计没用过pd.read_html()这个函数。虽然它低调，但功能非常强大，用于抓取Table表格型数据时，简直是个神器。
是的，这个神器可以用来爬虫！
01 定 义
pd.read_html()这个函数功能强大，无需掌握正则表达式或者xpath等工具，短短的几行代码就可以轻松实现抓取Table表格型网页数据。
02 原 理
一.Table表格型数据网页结构
为了了解Table网页结构，我们看个简单例子。
没错，简单！
另一个例子：
新浪财经网
规律：以Table结构展示的表格数据，网页结构长这样：
<table class="..." id="...">
<thead>
<tr>
<th>...</th>
</tr>
</thead>
<tbody>
<tr>
<td>...</td>
</tr>
<tr>...</tr>
<tr>...</tr>
...
<tr>...</tr>
<tr>...</tr>
</tbody>
</table>
二.pandas请求表格数据原理
基本流程
其实，pd.read_html可以将网页上的表格数据都抓取下来，并以DataFrame的形式装在一个list中返回。
三.pd.read_html语法及参数
基本语法：
pandas.read_html(io, match='.+', flavor=None,
header=None,index_col=None,skiprows=None,
attrs=None, parse_dates=False, thousands=', ',
encoding=None, decimal='.', converters=None, na_values=None,
keep_default_na=True, displayed_only=True）
主要参数：
io ：接收网址、文件、字符串；
parse_dates：解析日期；
flavor：解析器；
header：标题行；
skiprows：跳过的行；
attrs：属性，比如 attrs = {'id': 'table'}
实 战
一.案例1：抓取世界大学排名（1页数据）
import pandas as pd
import csv
url1 = 'http://www.compassedu.hk/qs'
df1 = pd.read_html(url1)[0] #0表示网页中的第一个Table
df1.to_csv('世界大学综合排名.csv',index=0)
5行代码，几秒钟就搞定，数据预览：
二.案例2：抓取新浪财经基金重仓股数据（6页数据）
import pandas as pd
import csv
df2 = pd.DataFrame()
for i in range(6):
url2 = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
df2 = pd.concat([df2,pd.read_html(url2)[0]])
print('第{page}页抓取完成'.format(page = i + 1))
df2.to_csv('./新浪财经数据.csv',encoding='utf-8',index=0)
8行代码搞定，还是那么简单。
我们来预览下爬取到的数据：
三.案例3：抓取证监会披露的IPO数据（217页数据）
import pandas as pd
from pandas import DataFrame
import csv
import time
start = time.time() #计时
df3 = DataFrame(data=None,columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料']) #添加列名
for i in range(1,218):
url3 ='http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime'%str(i)
df3_1 = pd.read_html(url3,encoding='utf-8')[2] #必须加utf-8，否则乱码
df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1] #过滤掉最后一行和最后一列（NaN列）
df3_2.columns=['公司名称','披露日期','上市地和板块','披露类型','查看PDF资料'] #新的df添加列名
df3 = pd.concat([df3,df3_2]) #数据合并
print('第{page}页抓取完成'.format(page=i))
df3.to_csv('./上市公司IPO信息.csv', encoding='utf-8',index=0) #保存数据到csv文件
end = time.time()
print ('共抓取',len(df3),'家公司,' + '用时',round((end-start)/60,2),'分钟')
这里注意要对抓下来的Table数据进行过滤，主要用到iloc方法。另外，我还加了个程序计时，方便查看爬取速度。
2分钟爬下217页4334条数据，相当nice了。我们来预览下爬取到的数据：
上市公司IPO数据：
注意，并不是所有表格都可以用pd.read_html爬取，有的网站表面上看起来是表格，但在网页源代码中不是table格式，而是list列表格式。这种表格则不适用read_html爬取，得用其他的方法，比如selenium。
最后，喜欢的小伙伴可以点个赞~
