俺是亮哥

本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景： Kafka做为一款流行的分布式发布订阅消息系统，以高吞吐、低延时、高可靠的特点著...

Mr绍君

我们知道在任何一个领域中，都有道，技，器三个层次。而PPT的技主要分为文字，图片，排版，配色和动画五个方面，在之前的文章聊了一下文字的方面，今天来看看图片是如何处理的。 1....

breeze_lsw

将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的...

牛肉圆粉不加葱

一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spa...

在觉

作为一个在职场混迹多年的老鸟，电脑的软件换了一拨又一拨。然而，无论是大学的读书生涯，还是在不同的公司搬砖，始终有那么几款软件，一直相伴左右。原因很简单，它们实在是太好用了！ ...