41168693a53c

楼主我有个问题，这个程序如果我这次爬了一会就停了，下次再启动时怎么保证不重复呢

利用scrapy爬取简书文章并保存到数据库

这篇文章主要是介绍利用scrapy爬取简书IT专栏的文章，并把爬取结果保存到数据库中。所以实现这些功能的前提电脑中安装了scrapy，MySQL数据库，和一些爬虫的基本知识。...

简讯Alfred

7432 15 25 1

41168693a53c

这个大概要爬多久，我这次停了，下次再启动时怎么保证不重复呢

12.scrapy实战之爬取简书整站内容

这一节，我们利用scrapy来爬取简书整站的内容。对于一篇文章详情页面，我们发现许多内容是Ajax异步加载的，所以使用传统方式返回的response里并没有我们想要的数据，例...

MononokeHime

2039 1 3

41168693a53c

@种地书生 我解决这个问题了，我是win10系统，之前scrapy的版本是0.2.1，现在换成了1.6.0，就可以使用yield了

2020-04-14

问题：在使用python3.8版本的时候，使用scrapy库进行数据爬取数据 在使用scrapy库的时候，如果在spider.py文件中不使用yield关键字，文件没有报错，...

种地书生

653 4 3

41168693a53c

问题：在使用python3.8版本的时候，使用scrapy库进行数据爬取数据 在使用scrapy库的时候，如果在spider.py文件中不使用yield关键字，文件没有报错，...

41168693a53c

我也遇到同样的问题了，请问您解决了吗

2020-04-14

问题：在使用python3.8版本的时候，使用scrapy库进行数据爬取数据 在使用scrapy库的时候，如果在spider.py文件中不使用yield关键字，文件没有报错，...

种地书生

653 4 3