requests和元素定位
requests
requests：HTTP for Humans相比之前使用的urllib2,requests称得上是for humans.
这里介绍使用requests需要注意的几个地方：
简单使用
import requests
r = requests.get('https://www.baidu.com')
print r.text
s = requests.Session()
res = s.get('http://www.baidu.com')
print res.text
s.close()
也支持with的上下文管理，能够自动关闭s
with requests.Session() as s:
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
上面第二种方式能够使用一些高级特性，比如cookie的保持。
r.text就是我们要处理的网页，下一篇文章介绍元素定位来获取我们想要的数据。
response解码
请求发出后，Requests会基于HTTP头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests会使用其推测的文本编码。
当r.text显示乱码时，那就是requests不能自动解码，这时候可以查看网站源码，meta标签中charset的值会说明网站采用的编码，再使用r.encoding即可按照对应格式解码：
r.encoding = '编码格式'
响应内容
二进制响应内容，从r.content中获取
>>> from PIL import Image
>>> from StringIO import StringIO
>>> i = Image.open(StringIO(r.content))
json响应内容
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.json()
原始套接字响应内容
>>> r = requests.get('https://github.com/timeline.json', stream=True)
>>> r.raw
定制请求头
定制请求头，请求头中可以添加http头(包括Useragent,content-type等等)，负载(data=或者json=,使用json=的时候直接传dict格式，而不需要json.dumps转换)
>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}
>>> r = requests.post(url, data=json.dumps(payload), headers=headers)
使用代理
最新版本的requests目前支持http,https,socks4,socks5代理，通过proxies=设置
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
requests.get('http://example.org', proxies=proxies)
在最新的version 2.10.0中已经添加对socks的支持，老版本需要更新requests
pip install requests -U
pip install requests[socks]
proxies = {
'http': 'socks5://user:pass@host:port',
'https': 'socks5://user:pass@host:port'
}
在实际使用中发现socks4的使用方式和http一样
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
SSL证书校验
在最上面额度例子中，获取https://www.baidu.com的网页中，实际上就已经开启了证书校验，证书校验使用verify 参数，默认值为True
requests.get('https://www.baidu.com', verify=True)
对于已认证CA签发的证书默认都会通过验证，而对于私有证书，需要指定证书的存放路径，或者将verify 值设为False
requests.get('https://kennethreitz.com', verify=False)
requests.get('https://kennethreitz.com', cert=('/path/server.crt', '/path/key'))
身份认证
很多网站需要登录后才能获取更多的内容，在实现登录前需要抓包分析网站使用的何种登录方式，详细此系列请见第6篇文章。
requests异常处理
我们需要保证爬虫能够一直跑下去，不会因为异常而退出，
那么我们就需要异常处理。
requests的异常我一般这样处理：
res = None
try:
res = requests.get(test_url, headers=headers, proxies=proxies, timeout=10)
except:
"""process exception situation"""
if res is not None and res.status_code == 200:
"""process success situation"""
上面大部分都是requests官网中提到的内容，只是我总结了下实际使用中遇到的一些常用的需要注意的地方，供大家参考使用。
在实际抓取中，还会遇到动态页面，图片识别等问题，后面都会介绍
