爬虫的流程
一个爬虫的执行过程可以大致分为三个部分：
- 获取页面内容（html）
- 使用CSS选择器、XPath、DOM API等手段提取页面关键内容
- 遍历提取到的url继续进行信息挖掘
可以看出爬虫是一个递归过程，如果步骤 3 中提取得到的 url 和这个过程是一样的话（例如搜索引擎的爬虫）。而最简单的爬虫只涉及到前两个方面（即信息流是单次的）。
爬虫的工具：
- Python 组合：Requests/Urlib + BeautifulSoup/PyQuery
- Node.js 组合： Request + Cheerio 或 Request + JSDOM （需要JS解释的特殊页面）
信息获取部分
对于简单的爬虫，可以使用浏览器的开发者工具对所要爬取的网页进行审查（inspect），确定元素的查询路径，然后利用工具 CSS 选择器、XPath 等进行元素遍历，在遍历过程中提取有效的信息（html或者value等）。在 Chrome 浏览器最近的版本中，选择某一个元素已经可以支持“复制 CSS 路径”（Copy CSS Path）这样的自动化选项了，极大减轻了爬虫所需要的重复劳动。
模拟浏览器
爬虫的一个很重要的问题就是模拟人类，这个不是通过机器学习人类来得到的，而是通过伪造浏览器的标识。一些网站为了防止信息被盗用，往往设置了十分复杂的验证流程。而这些复杂的验证流程，基本上可以归结为以下问题：
- 模拟 Session
- 模拟 cookie
- 模拟 JS 执行过程
- 模拟验证码过程
其中，前两者可以通过模拟 HTTP 协议以及浏览器行为来解决（Python 的 Requests 库、Node.js 的 Request 库、Java 的 HttpClient 类），而第 3 点可以通过 模拟浏览器环境（Node.js 的 JSDOM 模块）或者手工逆过程编程实现。第 4 点是一个难题，单说验证码就有千差万别的形式，例如图片验证码、组合验证码、语音验证码等等，这些基本上是通过观察服务器端的漏洞，或者通过机器学习、模式识别等算法进行破解。
对于大部分应用来说，能够模拟前两者已经可以了，而模拟前两者需要扎实的HTTP协议基础，配合利用好浏览器的开发者工具中关于请求的部分（Chrome 的开发者工具在这方面做的不错）发现其中的验证流程（访问页面、提交数据这些步骤的顺序）。
遍历 URL
遍历 URL 是自动递归爬虫需要解决的问题。例如搜索引擎爬虫，需要知道哪些 URL 需要获取、哪些 URL 是不需要获取的。URL 的识别，可以算作是信息获取部分的内容，而另一个难题就是如何确定这个 URL 是需要获取的，而不是已经被重复获取的。这个时候，可以维护一个 HashMap 等结构，通过网页的散列值（hash code）来确定 URL 是否被获取过了。这在小数据量的情况下是十分有效的，但在大数据环境下就不一样了。当获取的网址数量超过了内存的存量，这个时候需要考虑外部存储。
网络爬虫的程序结构
说了那么多注意的问题，那么如何组织起来一个网络爬虫的程序结构呢？我的建议是分为三层：直接的数据读写、逻辑整理、以及抓取循环。
例如，一个数据获取类：
class UrlDAO(object):
def __init__(self):
super(UrlDAO, self).__init__()
# 初始化数据库连接，可以用MongoDB、MySQL 等等
# ...
def insert(self, url):
# 不做任何判断，仅仅插入数据
print url
之所以封装这样的类，是为了以后能够简单地更改数据获取后端，例如，数据量少的时候可以直接用内存或者文件系统，数据量大的时候就用Redis。
处理逻辑相关的，是对数据获取的一个封装：
class UrlCollector(object):
def __init__(self, url_dao):
super(UrlCollector, self).__init__()
# 存入数据库访问层
self._url_dao = url_dao
# 初始化已经获取到的列表
self._fetched_urls = set()
def collect(self, url):
# 收集的业务逻辑：如果未曾收集，则收集到数据库中
if url not in self._fetched_urls:
# 调用数据库连接层来处理
self._url_dao.insert(url)
最后的抓取循环就简单多了~ 以一个站点为输入，上述定义的逻辑类（collector）处理业务：
def fetch(site, collector):
for i in range(0, 5):
html = browser.get('http://www.similarsitesearch.com/s.php?URL=%s&P=%d' % (site, i)).content
doc = BeautifulSoup(html, "html.parser")
for block in doc.select('div.res_main_top > h2 > a'):
sub_url = urlparse(block['href']).hostname
collector.collect(sub_url)
