发简信
IP属地：山西
-
-
我的开源项目：<br><br>分布式微博爬虫<br><a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2FSpiderClub%2Fweibospider" target="_blank">https://github.com/SpiderClub/weibospider</a><br><br>高可用分布式代理池<br><a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2FSpiderClub%2Fhaipproxy" target="_blank">https://github.com/SpiderClub/haipproxy</a>
-
这哪是分布式
Scrapy-redis实现分布式爬虫
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化...
-
迭代爬取时，报错 Filtered offsite request
用scrapy框架迭代爬取时报错scrapy日志： 在 setting.py 文件中 设置 日志 记录等级 观察 scrapy 日志 重要的是第一行，我开始做的时候没有意识到...
-
爬虫课程（九）｜豆瓣：Scrapy中items设计及如何把item传给Item Pipeline一、定义Item Item是保存爬取到的数据的容器，其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。 类似在ORM中做的一样，我们...
-
用到scrapy了吗
如何构建一个分布式爬虫：理论篇
前言 本系列文章计划分三个章节进行讲述，分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识，基础篇会基于理论篇的知识写一个简易的分布式爬虫，实战篇则会以...
-
欢迎来到@产品专题，本专题汇集了30多万的小伙伴，每天有100篇优质文章的投稿，更有优质的产品社群。 @产品专题主要收录的是：产品、设计、技术、运营、体验、文档、工具、经验总结、项目总结等类型的优质文章。 专题投稿须知 1、所投稿的文章必须是原创作品，具有一定的可读性。 2、① App、软件推荐／评测类建议转投工具癖 ② 营销、文案类建议转投广告圈 ③ 职场成长类建议转投上班这点事儿 3、文章內不得有任何推广信息。包括但不限于公众号、微博、微信、豆瓣、QQ个人资料；不必要的外链；文章图片有微信水印、或者网站水印有推广嫌疑的。 4、本专题拒绝任何形式的全文转载内容。 专题投稿指南： https://www.jianshu.com/p/8bb3bcd951ce 专题主编：文俊粥 https://www.jianshu.com/u/0df55b412537 可添加主编微信：vk201205（文俊，备注：简书产品加群）
-
-
-
这！里！有！漫！画！ 手稿规则： 1. 只收条漫、四格漫画、连载漫画、传统的寓言漫画、插图； 2. 漫画剧本、漫画评论（关于日漫、国漫、美漫连载漫画的评论）； 3. 漫画心得（关于漫画剧本、漫画的绘画技巧分享）； 热爱漫画的漫友们请尽情投稿，请自觉对应到漫画的主题形式，不要将与漫画无关的作品进行投稿，谢谢大家的配合~~ 本专题即日起回复投稿审核，审稿期限会有所拖延，请各位投稿人见谅~~ 漫画专题主编： 肆语声： https://www.jianshu.com/u/f40639e4b749 好了~把作品统统砸过来，好吗？ （づ￣3￣）づ╭❤～
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
-
借一斑略知全豹，以一目尽传精神。 投稿须知： 1.本专题收录各种类型短篇小说，内容须言 之有物。 2.内容须为原创，结构完整（未完待续及连 载小说请勿投）。 3.字数要求：三千字以上，三万字以下。 4.文章排版整洁，段落分明，无明显错别 字。 5.优秀短篇，编辑将会手动加入短篇小说月刊专题，并邀请加入优秀作者群。 更多投稿要求请点击《短篇小说专题投稿指南》https://www.jianshu.com/p/e46829ef7a33 专题主编：苏小飞 https://www.jianshu.com/u/7ef36743bc26 申请短篇小说专题群交流学习，请添加主编苏小飞微信13953505883，编辑李布波微信18764407758。加微信请备注“短篇小说群”。
-
