前言 好久没有更新过博客了，在百忙之中抽出一点时间来写两笔吧。 相信这几天大家正在被“Kafka要弃用ZooKeeper”的消息刷屏，并且无一例...

节日快乐~ 今天是属于广大程序员的节日，祝自己快乐hhhhhh 随着业务量的急速膨胀和又一年双11的到来，我们会对现有的Kafka集群进行扩容，...

前言 在之前的一篇文章中，笔者介绍了Kafka Consumer Group（消费者组）以及Rebalance（重平衡）的概念： 为了使得Con...

前言 七夕快乐呀~（看官如果想听一首应景的歌的话，可以移步上一篇hhhhhh Kafka作为一个高效的分布式消息系统，在多处关键点都采用了主从（...

Sparse Index 在以数据库为代表的存储系统中，索引（index）是一种附加于原始数据之上的数据结构，能够通过减少磁盘访问来提升查询速度...

前言 在之前的《两阶段提交（2PC）与其在Flink exactly once中的应用》这篇文章中，笔者特别提到了Kafka从0.11版本开始支...

前言 笔者之前写了一篇关于建设实时数仓的初步方案（参见这里），经过研讨与部分修改之后已经开始施工。在我们设计的实时数仓体系中，Kafka占有核心...

前言 前段时间写了三个Spark Streaming程序，负责从Kafka订阅群和用户消息，并做舆情监控必须的ETL工作。它们消费的Topic各...

ZooKeeper是应用甚为广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HDFS、YARN、HBase、Kafka等等，都扮演着基础...