task是一个类，扮演了两方面的角色：任务被调用时来发送消息、工作进程在收到消息时操作。task的名称则是标志，这样工作进程可以找到对应的函数。 task只有在收到工作进程的...
发简信
IP属地：上海
-
2 Celery Tasks
-
利用docker和docker-compose 数据库 构建简单爬虫系统一：简介和安装docker 对于较大型的爬虫需求可以利用服务器搭建docker 的python爬虫框架，这样可以充分利用服务器的资源而且可以限制cpu 内存的使用 监控爬虫程...
-
解析网易云音乐的加密方式找到参数的加密方法 首先我们先看评论的加载方式，打开一首音乐的主页，然后打开开发工具的Network选项，点击评论的翻页按钮，可以看到第一个请求就是请求下一页的评论： 我们先...
-
Scrapy抓取Ajax数据以新版简书网站为例，新网站很多地方采用了ajax(异步JavaScript和XML)，大大提高了页面加载的速度。 对于一些数据抓取来说，就增加了复杂度，ajax数据从源代码里...
-
简书首页数据抓取的答疑 (2)上一篇文章 简书首页数据抓取的答疑 ，分析了在抓取简书首页时的问题，还有一些小的细节需要注意。 一、Scrapy: url length > 2083 的问题 按照上一篇文...
-
Redis入门使用手册 （Redis入门指南笔记）
网站推荐 redis在线尝试与教程 redis中文官网 《Redis入门指南》 《Redis 设计与实现》 Redis 3.0 源码注释 Redis 2.6 源码注释 《Th...
-
Python进程、线程、回调与协程 总结笔记 适合新手明确基本概念
怎样让python在现代的机器上运行的更快，充分利用多个核心，有效地实现并行、并发一直是人们的追求方向。 GIL 谈到Python的执行效率就不得不提到GIL。Python的...
