数据流向 关于Scheduler Scheduler主要负责scrapy请求队列的管理，即进队与出队。进一步来说，会涉及到队列的选择，队列去重，序列化。 另外，enqueue...
发简信
IP属地：上海
-
scrapy源码阅读笔记(2) -- scheduler
-
mac os上安装python3
在mac os上安装python3遇到了一些问题，现在记录如下:环境:macOs Sierra已经存在python2.7 首先选择brew安装python3.6, 出现ssl...
-
scrapy使用kafka
参考https://github.com/tenlee2012/scrapy-kafka-redis Scrpay-Kafka-Redis 在有大量请求堆积的情况下，即使用了...
-
SSH 通过代理连接服务器老规矩，先说结论： 或者： 注意：由于 macOS 版 Ncat 的 7.90 和 7.91 版本的 bug，上述方式不再生效。起码 7.91 版本在 macOS 10.15...
-
带图形界面的Linux运行在你的Android手机上，Linux与Android并存共生，在手机上用python触摸拖拽式开发App和AI应用这是一个神奇的APP： Aid Learning在Android手机上构建了一个带图形界面的Linux系统，同时支持GUI,Python以及AI编程。这意味着当它安装时，你的...
-
Android自动化教程实战:Appium+Python本文不在叙述Appium环境安装。如有需要请参考：http://www.jianshu.com/p/7a6fa7ab662b 1. 创建项目目录 整个目录如下： 2. App...
-
centos7 关闭防火墙和selinux
CentOS 7.0 关闭防火墙 CentOS 7.0默认使用的是firewall作为防火墙，使用iptables必须重新设置一下 1、直接关闭防火墙 systemctl s...
