240 发简信
IP属地:天津
  • 你好,想请教一个问题,代理池不是分布式的,为什么不用本地(比如一个文件)来存代理,而要采取Redis呢?

    给自己的爬虫做一个简单的动态代理池

    使用代理服务器一直是爬虫防BAN最有效的手段,但网上的免费代理往往质量很低,大部分代理完全不能使用,剩下能用的代理很多也只有几分钟的寿命,没法直接用到爬虫项目中。下面简单记录...