240 发简信
IP属地:安徽
  • 120
    (基于最新的Kafka version 0.10.2 new consumer API )想要Spark Streaming精确一次消费Topic?拿去不谢,记得点赞和分享!

    本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景: Kafka做为一款流行的分布式发布订阅消息系统,以高吞吐、低延时、高可靠的特点著...

  • 120
    图片篇|学了三年PPT,我才学会如何做PPT

    我们知道在任何一个领域中,都有道,技,器三个层次。而PPT的技主要分为文字,图片,排版,配色和动画五个方面,在之前的文章聊了一下文字的方面,今天来看看图片是如何处理的。 1....

  • 120
    Spark map-side-join 关联优化

    将多份数据进行关联是数据处理过程中非常普遍的用法,不过在分布式计算系统中,这个问题往往会变的非常麻烦,因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的...

  • 120
    【容错篇】Spark Streaming的还原药水——Checkpoint

    一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...

  • 120
    六款不容错过的软件神器

    作为一个在职场混迹多年的老鸟,电脑的软件换了一拨又一拨。然而,无论是大学的读书生涯,还是在不同的公司搬砖,始终有那么几款软件,一直相伴左右。原因很简单,它们实在是太好用了! ...