• 基本爬虫知识python库urllib、urllib2、requests
• urllib、urllib2、request三者关系
• 从python的urllib开始
• urllib2学习
• requests学习
• ps：如何用浏览器抓包分析
• ps：爬虫分析小工具
• 页面提取
• 正则表达式
• xpath
• beautifulsoup
• 动态页面抓取selenium+phantomjs
• scrapy框架
• 基本用法
• 中间件-代理、登录
• 抓取环
• 分布式爬虫
• scrapy_redis，
• scrapy-cluster（加入kafka利器）
• scrapy的改造
• 自定义下载器
• 手机app数据抓取
• 利用代理抓接口（青花瓷）
• appium（selenium和appium原本都是自动化测试工具，用来做爬虫也是很好的）

我们知道通过urllib可以编写简单的爬虫，但是也存在很大的问题。
python基金会不得不推出urllib的增强版urllib2。

urllib2方法和类概述

urllib2.urlopen()

urllib2.urlopen(url[, data][, timeout])

三个参数

• url：可以是一个url字符串。也可以是一个urllib2的Request对象（Request对象是什么后面讲）
• data：可选参数，默认为null时，请求是get方式；设定data后，请求为post方式。
• timeout：定义超时时间，请求超时会跑出超时异常。

其实urllib2.urlopen()参数不止上面三个，这里只是列出常用的。

urllib2.Request

urllib2.Request(url[, data][, headers])

Request类是一个抽象的URL请求。
三个参数：

• url：url字符串
• data：请求参数
• headers：http的headers，urllib2可以伪装，就在这里了。

以上就是基本常用的方法和类了，更加具体的我们在例子中讲解和补全吧

在例子中实践

基本get请求

urllib2.urlopen(url[, data[, timeout]]])
我们已经知道urllib的urlopen()函数，看看urllib2的urlopen()函数吧，还是从一个简单例子开始：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')
def first():
    #基本 普通的get请求
    url = "http://www.tenliu.top/index.php/httpclient/"
    try:
        resp = urllib2.urlopen(url,timeout=4)
        print resp.read()
        print resp.info()
        print resp.getcode()
        print resp.geturl()
    except urllib2.URLError,e:
        print e
if __name__=="__main__":
    first()

这个例子看来和urllib.urlopen()似乎差不多啊，多了timeout超时参数，请求超时会抛出异常，这里可以自己捕获再次处理。

基本post请求

urllib2.urlopen()中，带上data参数，请求就是post方式了。
还是看例子

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def second():
    url = "http://www.tenliu.top/index.php/httpclient/"
    data = {'country': '中国', 'ranking': 2}
    resp = urllib2.urlopen(url,data=urllib.urlencode(data))
    print resp.read()
if __name__=="__main__":
    second()

加上Request类

urllib2.urlopen()中的url参数不仅仅可以是url字符串，而且可以是urllib2.Request类，这是urllib2封装的抽象请求，比urllib功能更强大的地方就体现在这个类上。我们先看一个基本用法吧：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def thrid():
    #看看这个urllib2.Request() get
    url = "http://www.tenliu.top/index.php/httpclient/"
    req = urllib2.Request(url)
    resp = urllib2.urlopen(req)
    print resp.read()
if __name__=="__main__":
    thrid()

真实的url封装在Request类中，然后通过urlopen()进行请求。

Request带参数post请求

使用Request类如何post参数。
这里需要注意的是urllib和urllib2的post参数时，都是需要进行url编码处理的，即要用到urllib.urlencode()。这就是urllib没有被urllib2完全取代的原因，至于为什么要这么设计，鬼知道！但正是种种not for Humans的设计，才会使requests库的出现，这是后话。还是先看例子吧：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def fourth():
    #urllib2.Request()，post
    url = "http://www.tenliu.top/index.php/httpclient/"
    data = {'country': '中国', 'ranking': 2}
    req = urllib2.Request(url,urllib.urlencode(data))
    resp = urllib2.urlopen(req)
    print resp.read()
if __name__=="__main__":
    fourth()

伪装headers

urllib2正是通过Requests这个类进行headers的伪装的。可以操作headers，使得爬虫功能变的十分强大了，比如通过“User-Agent”伪装成浏览器；
通过“Cookie”免登陆，保持会话等等。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def fifth():
    #urllib2可以添加headers
    #并且可以设置cookies，可做的事情大大增加，例如使用cookies登录或保持登录状态，也相当会保持会话了
    url = "http://www.tenliu.top/index.php/httpclient/"
    data = {'country': '中国', 'ranking': 2}
    headers = {
        'Cookie':'sugstore=1; type=test',
        'User-Agent':'Mozilla/5.0  test',
    }
    req = urllib2.Request(url, urllib.urlencode(data), headers)
    resp = urllib2.urlopen(req)
    print resp.read()
if __name__=="__main__":
    fifth()

运行这个例子看看。抓取的页面中

var res = {"headers":{"HTTP_ACCEPT_ENCODING":"identity",<font color="red">"HTTP_USER_AGENT":"Mozilla/5.0 test"</font>,"HTTP_CONNECTION":"close",<font color="red">"HTTP_COOKIE":"sugstore=1; type=test"</font>,"REQUEST_METHOD":"POST"},"params":{"country":"\u4e2d\u56fd","ranking":"2"},"ipinfo":{"ipAdder":"123.123.133.69","ipPhysical":"\u5317\u4eac\u5e02 \u8054\u901a"}};

看来我们伪装成功了，起码服务器已经无法通过User-Agent 来识别请求是爬虫还是真实的浏览器了。

代理ip

从以上例子中看来，urllib2比urllib确实功能上强大很多，下面我们看看urllib2中的IP代理如何设置，urllib2.urlopen()中没有proxies参数啊。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import requests
import sys
reload(sys) 
sys.setdefaultencoding('utf8')
def sixth():
    #ip代理
    url = "http://www.tenliu.top/index.php/httpclient/"
    proxies = {"http" : '101.248.64.68:80'}
    # proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
    proxy_handler = urllib2.ProxyHandler(proxies)
    opener = urllib2.build_opener(proxy_handler)
    urllib2.install_opener(opener)
    resp = urllib2.urlopen(url)
    print resp.read()
if __name__=="__main__":
    sixth()

运行打印看看结果，在抓取到的页面中：

var res = {"headers":{"HTTP_USER_AGENT":"Python-urllib/2.7","HTTP_CACHE_CONTROL":"max-age=600","HTTP_CONNECTION":"keep-alive","REQUEST_METHOD":"GET"},"params":[],"ipinfo":{<font color="red">"ipAdder":"101.248.64.68"</font>,"ipPhysical":"\u897f\u85cf \u7535\u4fe1"}};

说明代理已经添加成功啦。

urllib2虽然可以设置ip代理，但是这种复杂的设计，甚至比自己的上一代urllib设置起来还要复杂啊。
也难怪被第三方库requests吐槽了，not for Humans这个黑锅urllib和urllib2是背定了，那么requests这个库又怎么样呢？我们下一次再说吧。