安装
Twisted与Scrapy的安装
twisted下载地址
python3.7.0的环境, 我这里安装了Twisted-18.7.0-cp37-cp37m-win_amd64.whl
pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl
pip install Scrapy
创建项目
scrapy startproject spider
目录
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
创建测试项目
scrapy genspider [-t template] <name> <domain>
介绍: 这仅仅是创建 spider 的一种快捷方法，该方法可以使用提前定义好的模板来生成 spider, 您也可以自己创建spider的源码文件。
scrapy genspider example1 hz.58.com
测试
scrapy crawl example1
报错
百度后的解决方案, 找到manhole.py这个文件, 修改其中的变量async为其他的变量, 例如:shark
此错误解决方案参考文章
再运行
scrapy crawl example1继续报错
报错
安装win32(下载和python版本对应的)win32-py.exe
安装之后继续执行
成功
