网络请求数据过程中偶发遇到readline（）一直不结束问题： jps & jstack -l pid： 定位之后发现只这行：while ((l...

大众点评商户数据还是有难度的，特别是美食类的，字体做了加密，网上很多资料自己看下即可。 之前是实时搜索抓取，需要登录账号，而后干脆抓全量好了，全...

思路就是：首先破解获取公众号的链接地址，注意链接地址是随时变的， 然后自动翻页，翻页数自定义，最后解析即可~

问题：A网站抓取需要8个小时，B网站需要半个小时，如果A网站先开始那么B网站需要8个小时候才能执行到。如果A网站的紧迫性没那么高，只期望能慢慢的...

最近在用Java写一套自研爬虫框架，该框架可以通过简单的配置就可以实现目标网站的抓取，不再需要研发人员做开发，业务人员也能抓目标网站哦，有兴趣可...

最近在看点评网站： 感觉里面防爬做的蛮好：验证方面采用随机验证类型（滑块、极验、连连看等等还有其他）；而且网页间的上下层级关联性做的特别好，如果...