自行配置好Anaconda3 & navigator
虚拟爬虫环境,conda create -n 爬虫环境 ,默认Python 3.7
前期安装 requests, selenium, chromedrive, phantomjs, beautifulsoup4, pyquery, MySQL,MongoDB, pymysql, Navicat, pymongo, 3T. 等,请参考:小象社区 苏克老师的入门课程。
如果你找到了我的这个链接,基本也完成了上述部分。
-
大家在遇到下图等报错时:
可能会在网上搜到如何下载,安装wheel, 查看什么版本wheel适合,如何安装pip,pip3,设置环境变量什么的,折腾了很久,pycurl.XXXXXXXXXX.wheel 也下载失败。实在尴尬。
-
其实,打开Navigator, 在(1)对应的爬虫环境下,搜索pycurl 安装即可。甚是方便。
-
然后舒服的 pip install pyspider 吧
后续。20190721, 需要修改site-packages 里面py文件的关键字, async 全部改成 async_mode
另外,可能还得参考这个链接,谢谢各位!
https://blog.csdn.net/qq_37253540/article/details/88196994
再运行 pyspider all