1.工具和环境语言： python3.6系统：win7 64位数据库：MongoDBIDE：IPython notebook 2.数据加载、存储与文件格式pandas 提供了...
发简信
IP属地：西藏
-
《利用Python进行数据分析学习笔记》学习笔记（三） -
《利用Python进行数据分析学习笔记》学习笔记（二）1.工具和环境 语言： python3.6 系统：win7 64位 数据库：MongoDB IDE：IPython notebook 2.用pandas进行计数 这里用的数据...
-
《利用Python进行数据分析学习笔记》学习笔记（一）1.工具和环境 语言： python3.6 系统：win7 64位 浏览器：chrome 2.安装和设置 pip pip是一个Python包管理工具，主要是用于安装或者卸载模...
-
公众号：大邓和他的pythonpython
-
最近在爬知乎，用上代理还被封了本机IP，换一个WIFI就又可以了，请教下博主，有没有什么办法
Python爬虫代理池分享——再也不怕反爬虫
地址：https://github.com/Python3WebSpider/ProxyPool 为什么需要代理池 在爬取网站信息的过程中，有些网站为了防止爬虫，可能会限制每...
-
headers不加上登陆令牌不会直接503吗
Python 编写知乎爬虫实践
本文经作者授权发布。 文 | 程柳锋@Tencent 爬虫的基本流程 网络爬虫的基本工作流程如下： 首先选取一部分精心挑选的种子 URL 将种子 URL 加入任务队列 从待抓...
-
请教下大佬，我也在抓这个数据，用上代理之后，一小时超过6W条还是很容易被封。User-Agent我弄了几十个，登录令牌，也就是'authorization'， 没有登陆账号都是一样的，搞不懂知乎是怎么识别出来
如何写一个简单的分布式知乎爬虫？
前言 很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫（Web Spider）。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写...
-
@Deserts_X 还没想好，据说知乎有6500万注册用户，我想把大部分用户爬下来
爬取张佳玮138w+知乎关注者：数据可视化
一、前言 作为简书上第一篇文章，先介绍下小背景，即为什么爬知乎第一大V张公子的138w+关注者信息？ 其实之前也写过不少小爬虫，按照网上各种教程实例去练手，“不可避免”的爬过...
-
个人博客已迁到 <br><a href="http://weiyanying.com/" rel="nofollow" target="_blank">http://weiyanying.com/</a><br><br>flask搭建的网站<a href="https://wakingup.herokuapp.com/" rel="nofollow" target="_blank">https://wakingup.herokuapp.com/</a>
-
微信公众号：牛衣古柳<br>微信：xiaoaizhj 备注「可视化加群」<br>GitHub：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2FDesertsX" target="_blank">https://github.com/DesertsX</a><br><br>喜欢数据可视化/D3.js<br><br>“如切如磋，如琢如磨”，知一切事皆如此，不可安于小成而不自勉益求精进也。——钱穆《论语新解》<br><br>知乎：Deserts X：<br><a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2FDeserts-X%2Factivities" target="_blank">https://www.zhihu.com/people/Deserts-X/activities</a>
-
我这两天也在抓张佳玮的粉丝数据，现在有142万条了，貌似一小时抓六万条就是知乎的红线，速度高一点就返回503，来回折腾好几次了
爬取张佳玮138w+知乎关注者：数据可视化
一、前言 作为简书上第一篇文章，先介绍下小背景，即为什么爬知乎第一大V张公子的138w+关注者信息？ 其实之前也写过不少小爬虫，按照网上各种教程实例去练手，“不可避免”的爬过...
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
最近在爬知乎，用上代理还被封了本机IP，换一个WIFI就又可以了，请教下博主，有没有什么办法
请教下大佬，我也在抓这个数据，用上代理之后，一小时超过6W条还是很容易被封。User-Agent我弄了几十个，登录令牌，也就是'authorization'， 没有登陆账号都是一样的，搞不懂知乎是怎么识别出来
我这两天也在抓张佳玮的粉丝数据，现在有142万条了，貌似一小时抓六万条就是知乎的红线，速度高一点就返回503，来回折腾好几次了
