我们在写爬虫脚本的时候经常要获取请求头，但是每次从浏览器粘贴到代码里时，都要费一番功夫来处理格式。 于是写了一个请求头转换的脚本，可以将浏览器里...
投稿
收录了16篇文章 · 100人关注
-
python爬虫小工具--快速获得请求头
-
scrapy爬虫框架（四）：scrapy中 yield使用详解开始前的准备工作： MySQL下载：点我python MySQL驱动下载：pymysql（pyMySql，直接用pip方式安装） 全部安装好之后...
-
scrapy爬虫框架（三）：爬取壁纸保存并命名
写在开始之前 按照上一篇介绍过的 scrapy爬虫的创建顺序，我们开始爬取壁纸的爬虫的创建。 首先，我们先过一遍 scrapy爬虫的创建顺序： ...
-
scrapy爬虫框架（一）：scrapy框架简介
一、安装scrapy框架 二、创建一个scrapy项目 安装完成后，python会自动将 scrapy命令添加到环境变量中去，这时我们就可以使用...
-
实战：异步爬取之异步的简单使用一、使用异步的注意事项 异步代码中不能有耗时的 I/O操作，像文件读写、网络请求、数据库读写等操作都需要使用对应的异步库来代替。 异步代码要尽可...
-
实战：异步爬取之初识异步
一、为什么要用异步？ 许多之前没有听说过异步地朋友可能看到标题地第一反应就是：什么是异步？为什么要用异步？ 我们先来讲讲为什么要用异步，对于爬虫...
-
实战：简书爬取之多线程爬取（二）速度提升何止10倍一、程序结构 既然要使用多线程，那么关于多线程的使用的模型我们也要了解一下。 许多新手在写多线程的代码时总是喜欢把代码一股脑全部塞在一个类中。 ...
-
实战：爬取简书之多线程爬取（一）在上上篇我们编写了一个简单的程序框架来爬取简书的文章信息，10分钟左右爬取了 1万 5千条数据。 现在，让我们先来做一个简单的算术题： 假设简书...
-
实战：爬取简书之搭建程序框架上一篇一共提到了四个模块，这一篇我们来实现它们 请求模块 uid 解析模块 数据爬取模块 数据保存模块 一、请求模块 分析： 随机选择 user...
-
python爬虫系列之数据的存储（二）：csv库的使用
上一篇我们讲了怎么用 json格式保存数据，这一篇我们来看看如何用 csv模块进行数据读写。 一、csv简介 CSV (Comma Separa...
专题公告
本专题以项目为驱动，从基本的网络请求和页面解析开始，逐步深入到 scrapy爬虫框架，在讲解完库之后，会跟上对应的实践项目，有兴趣朋友的可以跟着实践自己敲代码或者完成我留下的 bug，把代码发到评论区，我会不定时查看。
本专题假设读者有一定的python基础，所以并不会讲python的基本语法，遇到语法问题可以评论求助。
因为本专题涉及的库比较多，而且作者不能把时间全部用在更新上，所以本专题完成的时间可能较长，在本专题中会涉及到以下主题：
1、requests 库
（网...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1624556/title-python-title.png', '推荐专题《python爬虫入门》（ 分享自 @简书 ）','https://jianshuapi.com/c/dddda2ccf7b7?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}