AQ王浩

一、吞吐率 我们一般使用单位时间内服务器处理的请求数来描述其并发处理能力。称之为吞吐率（Throughput），单位是 “req/s”。吞吐率特指Web服务器单位时间内处理的...

瘦不下去了

1、开发犯低级错误怎么办？开发首先要规范好编码，出低级错时不要指责，内心指出错误。让他们自己进行测试，反思找出错误。 2、你进行过那些测试，擅长什么?我主要从事web测试，搭...

瘦不下去了

项目的测试流程大只包含的几个阶段：立项、需求评审、用例评审、测试执行、测试报告文档 一、立项后测试需要拿到的文档1、需求说明书2、原型图（及UI图）3、接口文档4、数据库字典...

牛耀

新建爬虫项目 scrapy startproject 项目名称 创建爬虫文件 scrapy genspider 爬虫文件名称 要爬取的目标url的域（baidu.com） 运...

牛耀

Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。 这条管道，被称作图片管道，在 Imag...

sheenaghWS

背景 去年在公司写过一个爬虫工具，用于抓取自动化报告通过率、自动发送报告。由于当时是第一次接触爬虫，难免会遇到各种问题，解决方案全都是按照网上的一些爬虫文章示例，照猫画虎写的...

牛耀

本次以下厨房为例 创建（继承自CrawlSpider类） scrapy genspider -t crawl xcfCrawlSpider xiachufang.com 打开...

牛耀

CrawlSpider它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接...