深入理解Kafka(四) 集群管理

下面我们来说一下Kafka的集群管理。我们知道Kafka的高可用是通过集群的方式实现的,那么集群管理是怎么实现的呢?简单来说,Kafka的集群管理就是通过Zookeeper实现的。Kafka通过zookeeper来实现集群的分布式协调服务,leader选举等功能,每个broker会在Zookeeper上注册一个Znode,并在该节点注册一个监听器,当节点信息变更时,leader可以通过监听器获取到事件并进行处理。broker向Zookeeper注册的信息包括节点的通信协议,主机名,端口等。下面我们来详细说一下Kafka集群管理的几个方面。
(1)ISR设计
Kafka的replica有两种角色:leader和follower。leader负责管理集群的分区等配置,当leader挂掉后,Kafka集群会启动新一轮的选举,从follower中选出一个新的leader,是不是所有的follower都有机会参加选举呢,其实不是的,下面我们就来介绍一下Kafka的ISR机制。
ISR也叫in-sync replica,就是同步副本集,当Kafka集群中的副本同步落后整个集群一定的进度后,就会将该副本移除ISR,当该副本追上整个集群的同步进度时,会将该副本重新加回ISR中,只有在ISR中的副本才有资格参加leader的选举,其实很好理解,如果你这个副本都落后整个集群进度那么多了,将这个副本选举成leader肯定是有问题的。Kafka就是通过ISR机制实现集群的管理的。
(2)controller设计
在Kafka集群中,会有一个broker被选举出来作为controller,这个controller负责管理和协调Kafka集群中的所有节点。当创建topic时,controller会负责分配partition,并为partition分配相应的副本和ISR,选出副本的leader并将所有副本放到ISR中,然后将配置存到Zookeeper中。当副本和ISR分配好后,controller会将副本的信息同步到所有的broker上。下面我们来看一下controller的职责有哪些。
1.获取集群元数据信息
controller会维护集群的元数据信息,当元数据信息发生改变时,controller会通知其他节点元数据信息改变并将最新的元数据信息同步到所有的broker上。
2.创建topic
controller会在zookeeper上创建一个监听器,当broker有新的topic创建时,controller会收到通知,并更新元数据信息,将元数据信息同步到所有的broker上,controller还会在新创建的topic节点下注册一个监听器,以方便当topic信息改变时可以收到通知。
3.删除topic
controller会在topic删除的路径上设置一个监听器,当删除topic时,controller会收到通知,并更新元数据信息及进行同步。
4.分区重分配
Kafka集群会在重新分配集群的时候在指定的路径下新建一个Znode,并扩展分区上的节点,controller会重新对分区上的副本尽心分配,并更新元数据的信息。
5.broker加入集群
当broker启动时会在指定路径下创建一个Znode,controller会监听该路径下节点的事件,这样实现了动态的管理集群节点。然后controller会更新元数据信息并同步。
6.leader选举
当集群启动时,会选举一个leader来管理集群,就是在Zookeeper的指定路径下创建一个Znode,所有的broker都会来抢着注册这个Znode,但是只有一个可以注册成功,controller会为节点注册一个监听器,方便管理该节点状态的改变。
下面我们来说一下controller是由哪几个部分组成的。
1.ControllerContext
这个是controller数据的缓存,保存了所有Zookeeper中元数据的信息,也是controller的核心。
2.基础组件
基础组件包括了ZkClient,及Zookeeper的监听器,还有选举器,通过选举器在集群启动和节点发生改变时选举最新的leader,是controller提供管理功能的基础组件。
到这里,我们分析了Kafak集群的管理,来总结一下,Kafka集群通过Zookeeper保存了所有broker的节点信息,并通过controller管理集群,controller会在集群启动时为每个节点注册一个监听器,当节点发生改变时可以动态的管理节点,在管理副本时,Kafka通过ISR机制管理副本同步,还会选举出leader来管理整个集群的数据和同步配置信息。
Kafka的集群管理就介绍到这里了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容