爬到了一个无比纠结的网站，爬虫遇到了阻碍，从页面直接浏览的时候几乎感觉不出来什么，但是直接使用爬虫访问该网站会出现如下问题：
[scrapy] DEBUG: Crawled (521)
最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误。。。对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。
首先得让爬虫处理错误，如果使用scrapy就在settings里面加入一行如下代码,将521错误添加到允许执行的编码内
HTTPERROR_ALLOWED_CODES= [521]
这样爬虫不会忽略521错误的返回，而是继续调用回调函数。对于使用urllib2的情况可以使用try：exceptHTTPError,e：来接受返回的错误报文。
通过以上方法忽略错误的之后可以得到返回的报文体，是一段如下的惊人js：
var dc = "";
var t_d = {
hello: "world", t_c: function (x) {
if (x === "")return;
if (x.slice(-1) === ";") {
x = x + " ";
}
;
if (x.slice(-2) !== "; ") {
x = x + "; ";
}
;
dc = dc + x;
}
};
(function (a) {
eval(function (p, a, c, k, e, d) {
e = function (c) {
return (c < a ? "" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
};
if (!''.replace(/^/, String)) {
while (c--)d[e(c)] = k[c] || e(c);
k = [function (e) {
return d[e]
}];
e = function () {
return '\\w+'
};
c = 1;
}
;
while (c--)if (k[c])p = p.replace(new RegExp('\\b' + e(c) + '\\b', 'g'), k[c]);
return p;
}('b d=[3,5,4,6,0,2,1];b o=[];b p=0;g(b i=d.c;i--;){o[d[i]]=a[i]}o=o.m(\'\');g(b i=0;i<o.c;i++){l(o.q(i)===\';\'){s(o,p,i);p=i+1}}s(o,p,o.c);j s(t,r,n){k.h(t.y(r,n))};w("f.e=f.e.v(/[\\?|&]u-x/, \'\')",z);', 36, 36, '|||||||||||var|length||href|location|for|t_c||function|t_d|if|join||||charAt||||captcha|replace|setTimeout|challenge|substring|1500'.split('|'), 0, {}));
})(['|gMKn7WE1X5yhK2iRQ%2BuBd6yeqz', 'at, 05-Dec-15 09:5', 's%3D;Expires=S', '8:18 GMT;Path=/;', '__jsl_cle', '898.818|0', 'arance=1449305']);
document.cookie = dc;
个人对js还是比较熟悉的，研究了一下，这段代码的作用就是生成一个cookie存到浏览器中，并且刷新浏览器，但是在执行中部分代码是通过eval来执行字符串中打乱的动态js，这样就基本断绝了我想用Python来模拟这段js的想法，因为我没有办法分析动态生成的js生成Python。
这种情况只能用本地的js引擎来解析代码得到cookies了，现在比较多的大概是寄予v8的Pyv8个人比较喜欢但是无奈配置环境太坑还需研究，就选择了selenium+PhantomJS，环境配置见上一篇文章。
具体使用的时候上来就踩了一个坑，我原来的想法是是用phantomjs来模拟浏览器访问首页得到cookie然后再传递给爬虫来进行访问，但是失败了，可能服务器端对端口号做了记录，毕竟这是两个不同的程序。于是采用了第二种方法，获取js后修改部分写入文件通过shell调用phantomjs执行输出cookie，Python接收返回的cookie后再进行访问，试验后成功，关键代码如下：
def getSession(self, response):
f = open('getcookie.js', "w+")
# 重构js
js = response.body
js = str(js).replace("<script>", '')
js = js.replace("</script>", '')
js = js.replace("document.cookie=dc", 'console.log(dc);phantom.exit()')
f.write(js)
f.close()
# 获取js执行得到的cookie
status, output = commands.getstatusoutput('phantomjs getcookie.js')
# 重构cookie格式化
cookielist = output.split("; ")
cookie = {}
for sel in cookielist:
Sel = sel.split("=")
if len(Sel) > 1:
cookie.setdefault(Sel[0], Sel[1])
while self.num < self.max_num:
self.num += 1
yield Request("http://zhixing.court.gov.cn/search/detail?id=" + str(self.num)
, headers=self.headers
, cookies=cookie)
