1.什么是网络爬虫？
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
换言之，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。
2.软件环境
Anaconda Navigator软件
此软件区分32位和64位（本机为64位）
2.网络爬虫怎么使用？
使用网络爬虫爬取国防科技大学本科招生信息网中2016年录取分数
1）爬取国防科技大学本科招生信息网
import urllib.request as req
url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/info/2017/717.html' webpage = req.urlopen(url) # 根据超链访问链接的网页
data = webpage.read() # 读取超链网页数据
data = data.decode('utf-8') # byte类型解码为字符串
print(data)
这一份代码所爬取的是网页所有信息
运行结果为：
可以很明显的看到我们爬取网页的所有信息
2）根据我们需要的信息寻找关键词
我们所需要的只是其中的2016年录取分数线统计，所以我们需要进行剪裁
打开网页按f12键查看网页代码，找到所需列表的代码行然后寻找代码的关键词，最后进行剪裁
提取信息的正规表达式为：
'<table.*?>(.*?)</table>'
代码为：
table = re.findall(r'<table(.*?)</table>', data, re.S)
firsttable = table[0]
# 数据清洗，将表中的 ，\u3000，和空格号去掉
firsttable = firsttable.replace(' ', '')
firsttable = firsttable.replace('\u3000', '')
firsttable = firsttable.replace(' ', '')
print(table[0])
经过一次剪裁之后可以明显的看到我们需要的信息
但是其中信息还是太斑驳了，所以我们需要再进行剪裁，一步一步的提取信息
3）再次剪裁直到得到需要的精简信息
def step3():
score = []
# 1.按tr标签对获取表格中所有行，保存在列表rows中：
rows = re.findall(r'<tr(.*?)</tr>', firsttable, re.S)
# 2.迭代rows中的所有元素，获取每一行的td标签内的数据，并把数据组成item列表，将每一个item添加到scorelist列表：
scorelist = []
for row in rows:
items = []
tds = re.findall(r'<td.*?>(.*?)</td>', row, re.S)
for td in tds:
rightindex = td.find('</span>') # 返回-1表示没有找到
leftindex = td[:rightindex].rfind('>')
items.append(td[leftindex+1:rightindex])
scorelist.append(items)
# 3.将由省份，分数组成的8元列表（分数不存在的用/代替）作为元素保存到新列表score中，不要保存多余信息
for record in scorelist[3:]:
record.pop()
score.append(record)
return score
print (step3())
运行结果为:
此代码成功的洗练了我们的信息，使得信息达到最简化程度
4）爬虫思路：
我们爬取一份自己信息时往往带者许多的无用信息，这时我们应该一步一步的洗练我们爬取的信息，先截取出我们所需信息所在的大类中，然后从这个大类中慢慢取得自己所需的信息
