今天讲一讲爬虫。

如果把我们的互联网比作是一个蜘蛛网，那么爬虫就是在网上爬来爬去的蜘蛛。蜘蛛通过网页之间的链接，一个一个页面的读取内容，一直这么做下去，一直到整个网页都读完为止。

爬虫能做的事情非常多，我们知道的搜索引擎Baidu，就是利用爬虫把互联网上的内容全部抓取了下来。爬虫除了可以用来做搜索引擎，还可以帮助我们日常生活和工作中的很多事情。比如你打算买房，那么就可以用爬虫把链家上面的房源全部抓下来；比如你喜欢某个明星，你也可以用爬虫把关于他的所有信息都第一时间抓下来；你可以把豆瓣上的书和电影都抓下来…

一个小小的爬虫，能带我们发现大的世界。

爬虫这么强大，那今天皮哥就来具体讲一讲怎么写一个爬虫。

为了大家学得有激情，皮哥“精心”挑选了一个网站作为例子，这是一个美女图片的网站，后面我们讲到更高阶的内容的时候，还会用比如豆瓣这样的知名网站作为示例。

网站：http://www.ugirls.com/Content/

我们的目标是用爬虫自动把页面上所有的美女图片抓取下来，接下来，我们一步一步来实现这个目标。

第一步

打开目标网站的页面，点击查看“源代码”，我们看到的是密密麻麻的代码，这就是我们上节课介绍的HTML代码，几乎所有的网页都是用这门语言写的。我们上网看到的是绚丽多彩的网页，但是对于Python程序来说，它看到的就是密密麻麻的HTML代码，对Python爬虫来说，网页就是这样的代码块。

那么，我们怎么样能够让Python爬虫程序自动去访问我们的目标页面呢？下面这段代码可以做到。

可以看到，最后我们打印code和content两个值，code指的是访问http的状态码，我们在上一节课有提到，200表示访问正常，然后content就是返回的爬虫所看到的页面代码块。

这里我们用到了requests这个python的库，这是一个非常强大好用的库，用它来发送网络请求非常简单。在几乎所有python爬虫程序里，我们都能看到它的身影。更详细的资料，可以查阅中文官方文档：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html。

第二步

我们已经让爬虫能够自动访问目标页面了，接下来我们需要让爬虫程序自动在HTML代码里面找到美女图片的标签，要时刻记住，对于我们来说，页面是绚烂多彩的，但是对于程序来说，它“看到”的是一大片代码。所以教程序怎么去找到需要的信息，这是在写任何爬虫时都非常非常关键的一个步骤。HTML代码太杂乱无章，我们要告诉程序怎么去定位到需要的信息，这样我们才能把它剥离出来。在今天的课程中，我们要定位的就是图片。

我们知道，跟图片相关的标签是<img>，那我们可以借助浏览器的ctr+f快捷键快速找到<img>标签所在的位置。

在以后写爬虫的时候，我们可能还会遇到要在诸如<span>、<div>等标签里面定位需要的信息，而这样的标签在页面上太多，需要定位到一个更小的范围来查找标签。

下面这段代码展示了如何定位到需要的<img>标签。

大家可以看到，我们成功的定位到了所需要的图片，一共是10张图片。跟我们在网页上看到的数目完全吻合。然后我们分别把10张图都打印出来，我们注意到，对爬虫程序来说，打印的是10个<img>标签对象。

我们在这里用到了BeautifulSoup这个python库，这又是一个非常强大，也会经常用到的Python库，BeautifulSoup能让爬虫程序非常方便的从HTML里面提取需要的数据，我们已经在上面的示例中见识到它的威力，接下来的爬虫之旅中，我们还会继续用到它的。更详细的中文文档，可以查阅这里：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html。

第三步

我们已经成功教程序定位到需要的标签上，接下来就是最后一步，让Python爬虫程序自动地把这些图片下载下来。从上一步的打印结果来看，我们发现<img>标签里面有一个src的属性，我们复制其中一个src属性，在新的浏览器窗口打开，发现正是一张美女图片。<img>的src属性，标明的正是这张图片的地址。

所以，要让程序能够自动下载图片，跟程序自动访问页面一样，我们让程序自动去访问这些图片地址。要记住的是，人类看到的图片是美丽多彩的，但是对于程序来说，图片也跟网页差不多，是一串串的代码组成的，在程序的世界里，任何东西都差不多由代码组成，（心疼程序一秒钟）。不过现在的人工智能发展迅速，已经达到了教会Python程序从这一大片的代码里面识别哪些是美女的图片，哪些是帅哥的图片了。

下面这段代码展示了怎么教程序自动去下载图片。

程序依次访问图片地址，然后把读取到的一串代码，保存成图片文件，在这里，我们用<img>标签的alt属性作为保存图片的名称。然后，我们打开图片文件，就会发现图片已经下载成功了。

小结

所以，综合前面的步骤，我们教给Python程序的工作包括：

1. 自动“访问”我们打开的页面；

2. 自动定位找到所有的美女图片；

3. 把图片下载保持起来。

把每一步的工作合到一起，我们就完整的完成了一个最基本的Python爬虫程序。

后记

今天皮哥讲解了如何写一个基本的爬虫，麻雀虽小五脏俱全，这个简单的爬虫程序，其实已经包含了一个爬虫所需要的大部分成分。

我们可以修改这个爬虫程序，去爬取更复杂更丰富的页面，比如爬取“豆瓣电影”、“新浪微博”、“链家网”等等。然后可以基于这些爬取的数据做更多有趣的事情。

偷偷的说一句，上面提到的这三个著名网站，皮哥都爬过，数据那是相当的interesting啊！

============================================================

我创建了一个python技术交流的圈子，方便大家交流讨论技术，以及交流求职经验和内推信息。

社群是免费的，免费的，免费的，大家加我的微信之后（个人信息里面可以找到），注明“简书”就可以拉入群了~