下面我们来介绍下Kafka rebalance的原理。kafka的consumer group有多个consumer实例，这些consumer实例是怎么分配topic分区的呢，这就需要kafka rebalance来实现这个功能。rebalance是怎么触发的，有3个条件，可以触发kafka的rebalance流程。
1.组成员发生变更。当有新的consumer加入组，或者已有consumer崩溃时则触发rebalance流程。
2.组订阅的topic数发生变更。当consumer group订阅了新的topic时，也会触发rebalance流程。
3.组订阅的topic的分区数发生变更。当consumer group订阅的topic的分区数变更时，也会触发rebalance流程。
最多的情况就是第一个条件发生时，比如consumer实例崩溃，或者设置的consumer参数request.timeout.ms,max.poll.records和max.poll.interval.ms不合理时，则会触发rebalance流程。
rebalance分区分配时，使用的是rebalance协议，下面介绍一下这个协议。kafka提供了5个协议来处理rebalance操作。
JoinGroup请求: consumer请求加入组。
SyncGroup请求: group leader把分配方案同步更新到组内所有成员中。
LeaveGroup请求: consumer即将离开组的请求。
DescribeGroup请求: 查看组的所有成员信息，包括成员信息，协议信息，分配方案以及订阅信息等。
Heartbeat请求: consumer发送心跳请求。
consumer group在执行rebalance之前必须确定coordinator所在的broker，并创建与该broker通信的连接。成功连接coordinator之后就可以执行rebalance操作。目前rebalance主要分为两步:加入组和同步更新分配方案。
加入组:这一步中组内所有consumer向coordinator发送JoinGroup请求。当所有JoinGroup请求都发送完成后，coordinator会从中选择一个consumer成为group的leader，并把所有成员信息以及它们的订阅信息发送给leader。
同步更新分配方案。这一步中leader开始制定分配方案，即根据分配策略决定每个consumer都负责哪些topic分区。一旦分配完成，leader会把这个分配方案放入到SyncGroup请求并发送给coordinator。而coordinator接收到分配方案后把属于每个consumer的方案放入SyncGroup请求的response返回给consumer。
发送SyncGroup请求会同步每个consumer的状态信息，在所有成员都接受到SyncGroup的response后，每个成员按照coordinator的方案进行工作。
consumer group的分配方案是在consumer端执行的。这样即使以后分区策略发生了变更，也只需要重启consumer实例即可，不需要重启kafka broker。
到这里，我们介绍了kafka rebalance的原理，kafka rebalance的原理我们就讲到这里了。
深入理解Kafka(十二) rebalance原理
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 1、Consumer与Consumer Group consumer group是kafka提供的可扩展且具有容...
