1. zookeeper 在 kafka 中起到什么作用 Controller 选举Controller 是一个特殊的 Broker, 其负责维护所有 Partition 的...

1. zookeeper 在 kafka 中起到什么作用 Controller 选举Controller 是一个特殊的 Broker, 其负责维护所有 Partition 的...
大家刚开始用Spark Streaming时,心里肯定嘀咕,对于一个7*24小时运行的数据,cache住的RDD,broadcast 系统会帮忙自己清理掉么?还是说必须自己做...
程序员的自我修养之路👍👍
这些年,我工作上走过的路常常的,我会感恩于我所在的公司,让自己经历了种种。很多情况下,公司的成长带动了自己的成长。完整的跟着公司经历大数据业务从无到有,从有到精,这种历程就像美味的食物,吃过了才能真...
在Spark Streaming中,job不断的产生,有时候会产生一些空RDD,而基于这些空RDD生成的job大多数情况下是没必要提交到集群执行的。执行没有结果的job,就是...
前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍 哪些点可能导致内存问题,以及...