hui_jz

在爬虫中，我们经常遇到这样的问题。一是希望抓取过的URL不再重复抓取，节省资源；二是希望下载过的数据不再重复下载（一般情况下保证了第一条可以差不多满足第二条）。 爬虫去重一般...