troy_ld

数据流向 关于Scheduler Scheduler主要负责scrapy请求队列的管理，即进队与出队。进一步来说，会涉及到队列的选择，队列去重，序列化。 另外，enqueue...

wfishj

前言 问题：有朋友问起这究竟scrapy是广度优先还是深度优先？回答：深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续...