前言 在前面，我们已经演示过如何下载 html 页面内容，并且通过 jsoup 来解析 html 的内容。那么现在我们又想将文章的正文内容转换成...
投稿
收录了6篇文章 · 4人关注
-
linux 下使用 python 和 pdfkit 来转换 html 为 pdf -
利用 Redis 实现一个爬虫系统循环代理池
前言 最近在实现爬虫系统的时候，用到了 http 代理。我有一系列的代理，使用的时候要在分布式的环境中实现循环的使用。这里我们就采用了 redi...
-
CentOS7 Squid 网络代理安装和配置爬虫代理的作用 在我们的爬虫系统中，如果在一台服务器上不停的访问通一个目标站点，很有可能因为对方的发爬虫策略而将您的爬虫请求给阻止，导致您无法获...
-
linux 环境下 Java 运行 selenium 无界面 chrome 环境设置
前言 《Java 中使用 selenium 和 chrome 浏览器下载动态网页》 一文中，演示了如何在 window 环境下通过 seleni...
-
Java 中使用 selenium 和 chrome 浏览器下载动态网页前言 上一篇文章《用 jsoup 分析下载的 html 内容》 中提到过，当我们用 OkHttp 下载网页的时候，发现下载的内容中没有我们在浏览...
-
网络爬虫基础
什么是爬虫 据统计，现在互联网上的流量，一半以上都来自各种网络爬虫。所谓爬虫就是一些自动运行的程序，他们模拟人的行为访问互联网上的资源。例如 1...
专题公告
讲述一些 Java 爬虫相关的主题
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1684474/spider.png', '推荐专题《Java 爬虫》（ 分享自 @简书 ）','https://jianshuapi.com/c/948194d1f695?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}