kekefund

Scrapy适合做全量爬取，但是，我们不是一次抓取完就完事了。很多情况，我们需要持续的跟进抓取的站点，增量抓取是最需要的。Scrapy与Redis配合，在写入数据库之前，做唯...