偶然因工作需要,在爬取数据时 selenium+phantomJS 并不能做到我们想要的效果(猜想可能phantomJS被机智的同行检测出来屏蔽掉了)
所以使用了效率较低的chromedriver,因为有界面显示,所以会占用大量的内存导致效率降低。
进而想到我们的GOOGLE爸爸是不是有phantomJS的headless方法呢?
在查阅GOOGLE的一些相关文档后发现chrome版本60以上是支持headless的,但是并没有在WIN环境下调用的介绍。
于是与同组大神(XWY!)研究一番,总算找到了可行的办法。(测试通过环境win7+py27+driver version 2.30+chrome version 60.0 下附有链接)
其中调用headless的Chrome代码如下:
代码短短几行,但是很好的解决了我们遇到的问题。
(为个人学习、研究或者欣赏,使用此文的,需要标明作者、出处等信息。)
附上driver链接: http://chromedriver.storage.googleapis.com/index.html?path=2.30/
chrome链接:http://www.baidu.com/link?url=bdgjznXlke4c3FM6wUm5H8dQA1IS_qnt7zHEJ7Wt5cwKJ0awY5xMf3VGFOuoSx1rV1PhYgCHi8Qm5pwF5MYIK0KAvCyPaghK0pvdFySTwQu&wd=&eqid=cb1201c5000285400000000259ae6802