关键在于yield的应用：迭代器

只要改变爬虫中的设置即可：

1分布式使用 2 分布式爬虫开发的步骤： 注：如果想将 Scrapy 改造成分布式，就会有两个问题必须要解决①request 队列集中管理②去重...