一．行业分析（市场现状，代表性产品，产品市场占比） 随着人们生活水平和收入的提高，越来越多的人选择去电影院看电影，为了身心放松，为了联络感情，为了潮流，为了追星或追剧，为了3...
发简信
IP属地：江苏
-
购票软件竞品分析报告（淘票票测试项目） -
淘票票产品需求说明书（测试项目）目录 一、 简介 1 用户首次登陆 1 二、 产品功能结构 2 三、 产品需求 3 四、 产品功能流程 4 五、产品特性 6 购票功能模块 7 六、其他产品需求...
-
中国曲谱网爬虫项目接口文档
接口功能 获取制定项目的分类信息 URL http://www.qupu123.com/ 支持格式 JSON HTTP请求方式 GET 返回字段 接口示例 地址：http:/...
-
scrapy爬虫的部署
以 下厨房 为例 ： pip3 install scrapyd(服务) pip3 install scrapyd-client(打包) scrapyd-deploy -p ...
-
CrawlSpider的使用
CrawlSpider是爬取那些具有一定规则网站的常用的爬虫，它基于Spider并有一些独特属性 rules: 是Rule对象的集合，用于匹配目标网站并排除干扰 parse_...
-
Scrapy_Redis Settings.py设置文件
项目名称 爬虫存储的文件路径 创建爬虫文件的模版,创建号的爬虫文件会存放在这个目录下 设置ua,来模拟浏览器请求 设置是否需要准守robot协议:默认为True 设置请求的最...
-
Scrapy_Redis分布式爬虫pip3 install scrapy-redis Scrapy-redis提供了四种组件（components）： (四种组件意味着这四个模块都要做相应的修改) Sched...
-
实现通用爬虫、常见反爬措施、下载中间键
实现通用爬虫 创建爬虫文件的方式scrapy genspider -t crawl 爬虫文件 域 爬虫文件继承的类CrawlSpider rules ： 里面存放的是Rule...
-
Redis 简介、练习Redis Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起...
-
Scrapy框架（下载项目图片以及实现爬虫数据持久化保存）scrapy shell安装 Scrapy 框架 pip3 install Scrapy Scrapy架构图(绿线是数据流向)： Scrapy Engine(引擎): 负责Spider、ItemPi...
-
进程、进程和线程对比功能
进程 什么是进程程序：例如xxx.py这是程序，是一个静态的 进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元，不仅可以通过线程完成多任...
-
协程、Seleniium
协程：协程拥有自己的CPU寄存器上下文，所占用的资源非常少，当我们在携程中遇到耗时操作时，我们会从一个携程切换到另一个协程，这时会把相关数据保存在CPU寄存器上下文，当耗时操...
-
beautifulsoup、pyquery
beautifulsoup 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 lxm...
-
re模块、xpath
re模块的高级用法 search: search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果，它的一般使用形式如下...
