近期在做爬虫相关的事情,遇到一个十分蛋疼的反爬机制,智能使用js解析才能比较好的针对此反爬方式。于是需要使用Python 的js 相关引擎,比较常见的是v8和PhantomJS
v8是Google开发的JavaScript引擎,以前做前端和nodejs的时候相对比较熟悉了。Google提供了相关的Python包,PyV8。于是作为优先选择进行安装
$ brew install v8
$ brew install boost
$ brew install boost-python
这几个依赖安装的时候都十分顺利没有遇到什么阻碍,但是pip install pyv8的时候报了一串错误于是放弃了,现在先记一笔以后再来看看有什么方法能够解决。
于是开始安装selenium,这个安装十分顺利,但是安装PhantomJS的时候出现错误:
brew install phantomjs
phantomjs: This formula either does not compile or function as expected on OS X
versions newer than Yosemite due to an upstream incompatibility.
Error: An unsatisfied requirement failed this build.
嗯又是该死的OSX El Capitan造成的,简直日了狗了,这个该死的版本已经让我都少次配置环境的时候蛋疼不已
最后找遍了google终于发现解决方法
npm install -g phantomjs
成功解决,为什么?搞不懂。。。不过还是解决了,至于为啥以后再来研究下大node又发威了