咻咻咻滴赵大妞 - 简书

发简信

咻咻咻滴赵大妞

9
关注
17
粉丝
44
文章
62557

字数
32

收获喜欢
1

总资产

IP属地：福建

咻咻咻滴赵大妞

Spareribs
写了 61037 字，被 300 人关注，获得了 1018 个喜欢

坚持学习，坚持输出~~
咻咻咻滴赵大妞

API接口
API接口创建虚拟环境 mkvirtualenv 虚拟环境名称安装 pip3 install django==1.11pip3 install djangorestfra...

333 0 0

咻咻咻滴赵大妞

Pyspider基本使用
pyspider web爬虫框架简单使用 pip3 install pyspider 在桌面创建一个pyspider的文件夹，在里打开终端，然后开启 pyspider all...

2716 1 1
咻咻咻滴赵大妞

PySpider API介绍
self.crawl 主要告诉pyspider需要爬取的网址 url 需要爬取的url列表 callback 这个参数用来指定爬取内容后需要哪个方法来处理内容．一般解析为 r...

726 1 0
咻咻咻滴赵大妞

redis与python交互，本地部署和远端部署
1.存储在redis数据库中，每个item都要加一个tableName,这样取出来处理数据时，可以根据tableName进行判断如果代码报错回调方法错误，打开爬虫文件，需要...

888 0 1
咻咻咻滴赵大妞

分布式爬取
分布式爬取需要安装pip3 install scrapy_redis 首先修改setings.py文件： 1.设置去重组件,使用的是scrapy_redis的去重组件，而不再...

529 0 0
咻咻咻滴赵大妞

middlewares下载中间件、断点爬取、设置文件参数
User-AgentCookiesIPSelenium 1.User-Agent settings.py文件中添加几个UA middlewares.py中设置User-Age...

1194 0 1

咻咻咻滴赵大妞

Crawlspider通用爬虫
创建CrawlSpider模板： scrapy genspider -t crawl spider名称xxxx.com 继承CrawlSpider LinkExtractor...

265 0 0
咻咻咻滴赵大妞

Scrapy框架简介
Scrapy架构图一、新建项目 scrapy startproject myspider 创建爬虫项目 scrapy startproject jobboleproject...

328 0 0
咻咻咻滴赵大妞

Scrapy框架、Scrapy（windows、ubuntu）安装
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓...

牛耀
682 0 1
咻咻咻滴赵大妞

Redis总结
服务器端服务器端命令 redis-server 查看帮助文档 redis-server --help 启动 sudo server redis start 停止 sudo ...

221 0 0
咻咻咻滴赵大妞

Mysql总结
MySql的主要存储引擎有哪些,主要区别? MYISAM INNODE MEMORY 区别:MYISAM: 它不支持事务,也不支持外键 INNODE： InnoDB存储引擎提...

1433 0 1

咻咻咻滴赵大妞

牛耀
写了 36527 字，被 20 人关注，获得了 28 个喜欢
咻咻咻滴赵大妞

Selenium
selenium:是一个web的自动化测试工具,可以直接运行在浏览器上,但是并不自带浏览器,需要有浏览器驱动,selenium可以根据我们的代码指令让浏览器自动加载页面,这时...

2631 0 1
咻咻咻滴赵大妞

多线程、多进程
并发：指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务“一起”执行（实际上总有一些任务不在执行，因为切换任务的速度相当快，看上去一起执行而已）并行...

218 0 0
咻咻咻滴赵大妞

Re、Xpath、Beautiful、PyQuery、
正则在python中使用正则表达式需要导入re模块 Xpath xpath:可以在xml中查找信息，对xml文档中的元素进行遍历和属性的提取xml：被设计的目的，是为了传输...

783 0 2
咻咻咻滴赵大妞

Requests
requests的简单使用 1.最基本的GET请求可以直接用get方法 response = requests.get(url) response的常用方法：response...

295 0 0

咻咻咻滴赵大妞

MongoDB与Python交互
连接文档操作增删改查

432 0 0
咻咻咻滴赵大妞

数据库的备份与恢复
MongoDB备份（mongodump） mongodump -h dbhost -d dbname -o dbdirectory-h 服务器地址-d 需要备份的数据库名-o...

428 0 0
咻咻咻滴赵大妞

mongodb权限管理
超级管理员 1.创建超级管理用户 2.创建成功后退出mongodb客户端，然后service mongodb stop，再开启安全认证， 3.启用安全认证４．重启mon...

341 0 0

暂无个人介绍