![Avatar notebook default](https://cdn2.jianshu.io/assets/default_avatar/avatar-notebook-default-640f7dde88592bdf6417d8ce1902636e.png)
数据从哪里来,大数据系统的框架,kafka如何连接我们的应用系统、大数据批处理系统、大数据流式处理系统,kakfa系统的设计,和传统的消息队列系...
为什么分区 分区的作用:实现负载均衡以及高吞吐量的能力,或者实现系统的高伸缩性。注意:不同的分布式系统对分区的定义有所不同,比如在kafka中叫...
kafka的流式数据,如何进行分布式实现,怎么搭建流式处理系统的呢。broker的增加和减少,如何协调上下游的的producer和consume...
消费者位移:Consumer offset,表征消费者消费进度,每个消费者都有自己的消费者位移。消息位移:Offset,表示分区中每条消息的位置...
学习极客时间<kafka核心技术与实战>,做的一些记录和为下次快速使用和了解做一下回忆。 1.KAFKA环境配置 2.KAFKA参数配置 KAF...
1.kafka只对已提交的消息做有限度的持久化保证。 已提交的消息:当kafka的若干个Broker成功地接收一条消息并写入到日志文件后,会告诉...
1.为什么kafka可以实现高吞吐,单节点kafka的吞吐量也可以比其他消息队列大。零拷贝、顺写日志、压缩、预读、后写、分段日志、批处理2.ka...
流处理平台 流处理平台:(streaming system)是处理无限数据集的数据处理引擎,而流处理是与批处理相对应的。无限数据:没有尽头。常见...
kafka请求是怎么处理的。kafka客户端还是broker端,他们之间的交互都是通过请求、响应的方式完成的。Apache Kafka自己定义了...
文集作者