前言 前两天刚买了个腾讯服务器(CVM)，这次登陆上去的时候特别卡，通过top发现负载特别高，因为是刚搭建的环境，也没有运行什么应用程序，所以我...

前言 当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不...

前言 又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月...

前言 我们身处大数据时代，数据趋于透明化、公开化，我们是否就可以拿着数据为所欲为？几年前很多人向往着"车厘子自由"，同样在也有很多人也追求着技术...

前言 上一篇文章讲了爬虫的概念，本篇文章主要来讲述一下如何来解析爬虫请求的网页内容。 一个简单的爬虫程序主要分为两个部分，请求部分和解析部分。请...

序章 18年初，还在实习期的我因为工作需求开始接触Java爬虫，从一个网站爬取了163W条poi数据，这是我人生中写的第一个爬虫，也是唯一的一个...

前言 SparkStreaming用久了，打算学习一下Flink，就从官网下载了Flink 1.11，打算搞一个客户端，将程序提交在yarn上。...