Python 项目通过 IDE 集成一些框架时,想要启动好多时候都是直接敲框架对应的命令。此时如果我们需要通过 IDE 进行 Debug 调试,好多小伙伴不知道从何处下手。本文简要介绍通过 PyCharm Debug Scrapy 项目。
通常,我们通过在终端执行 scrapy crawl xxx_spider
命令启动指定爬虫。
我们查看该命令的调用流程。
查找入口,进入到 Scrapy 的安装目录,..\Python27\Lib\site-packages\scrapy
,查看入口程序 __main__.py
,代码如下: 发现调用的是 cmdline.py
里的 execute()
from scrapy.cmdline import execute
if __name__ == '__main__':
execute()
所以,scrapy <command> [options] [args]
命令实际上就是 Python 命令,所以 scrapy
就等于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py
, 进一步的 scrapy crawl xxx_spider
命令就等同于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py crawl xxx_sppider
既然这样,我们就可以 配置下 PyCharm 运行程序的 Configuration 就可以了,如下图,这样点击 run
或是 debug
就都可以直接运行了。