如何Pycharm中Scrapy环境搭建及遇见的坑
最近在学习python爬虫,用到了一个叫scrapy的爬虫框架。首先要用到这个框架要先安装scrapy,在安装过程中遇到各种坑,想写篇博客记录一下这些坑,希望对大家有一定的帮助。
我最开始是在pycharm中settings属性中安装scrapy
但是安装好了之后运行发现报错,百度很久也无法解决。大佬都建议用pip手动安装,于是乎卸载了scrapy
由于scrapy框架功能十分强大,所以依赖很多库,不能够直接安装,需要先安装依赖库。
简单来说分为三个部分:
1.lxml下载:使用pip安装
pip install lxml
2.twisted下载链接
(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)
●提示:1号坑----尤其要注意对应的python版本号和操作系统位数,不然因为导致不兼容而导致安装失败
3.pyOpenSSL下载链接
(https://pypi.org/project/pyOpenSSL/#files)
●提示:2号坑----twisted和pyOpenSSL下载完成之后放入C:\Users\asus(也就是命令行默认的目录位置)
这样就不需要在命令行中更改目录,对小白很友好。
前面的步骤只是下载好了,现在打开命令行进行安装:
pip install pyOpenSSL-19.1.0-py2.py3-none-any.whl
pip install Twisted-20.3.0-cp36-cp36m-win_amd64.whl
4.安装scrapy:
pip install scrapy
这一步完成之后就差不多完成了环境搭建(提示:3号坑----不需要去高级设置<<环境变量里面配置path环境)
提示:4号坑----scrapy.cfg文件必须存在并且在工程的兄弟目录下
接着在命令行中输入:
scrapy
得到scrapy版本号信息、bench属性等等
做到这儿,还算不上真正的完成。经过我在b站看教学视频,得知验证是否完成搭建的关键是输入:
scrapy bench
这时候我们打开pycharm,如果能接收到服务器返回的空消息,才算大功告成!
如果能得到上面的界面,就证明scrapy已经安装好了!
接着试着访问bilibili,terminal正确返回数据!任务完成!!
因为是第一次写博客,写的不好或者错误的地方,请大家指正^.^