kafka在zk中的存储结构

涉及到的相关项目为
kafka 0.8.1.1
zookeeper 3.3.6
环境下面的存储的结构

图片中描述了kafka在zk中的存储结构,以及存储的相关数据,绿色代表的是zk的临时节点,当对应的进程退出后,此临时的znode将自动删除。由于consumer的offset节点保存对应的partition的消息队列的消息消费情况,当消费者退出后,继任的消费者需要在之前结束的地方继续下去,因此,此节点不是临时节点。

kafka创建的队列情况为:

Topic:test_kafka PartitionCount:3 ReplicationFactor:3 Configs:
Topic: test_kafka Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0,1
Topic: test_kafka Partition: 1 Leader: 2 Replicas: 2,0,1 Isr: 2,0,1
Topic: test_kafka Partition: 2 Leader: 2 Replicas: 0,1,2 Isr: 2,0,1

Partition 为3个,Replicas 为3个。

下面详细介绍每类主要节点:
Controller epoch:

/controller_epoch -> int (epoch)

此值为一个数字,kafka集群中第一个broker第一次启动时为1,以后只要集群中center controller中央控制器所在broker变更或挂掉,就会重新选举新的center controller,每次center controller变更controller_epoch值就会 + 1;
Broker注册信息

/brokers/ids/[0...N]

每个broker的配置文件中都需要指定一个数字类型的id(全局不可重复),此节点为临时znode(EPHEMERAL)
Schema:

{
“jmx_port”:-, //JMX的端口号
“timestamp”:”1416789803974″,//broker启动的时间戳
“host”:”JobTracker”, //broker 进程所在的机器的机器名
“version”:1, //默认的版本
“port”:9092 //broker进程的对外监听的端口号
}

/brokers/topics/topic1/partition/[0...n]

保存broker上面建立的topic队列的相关信息,以及对应的分区的数量,以及每个分区的元数据。
Schema:

{
“controller_epoch”:9, //中央控制器的总的选举次数
“leader”:2, //此partition的broker leader的id
“version”:1, //默认版本号
“leader_epoch”:7, //此partition的leader选举的次数
“isr”:[2,0,1] //同步副本组brokerId顺序列表
}
Controller注册信息:

存储center controller中央控制器所在kafka broker的信息
Schema:
{

“version”:1,
“brokerid”:3,
“timestamp”:”1416789802220″
}
Consumer注册信息:

每个consumer都有一个唯一的ID(consumerId可以通过consumer的客户端配置文件指定,也可以由系统自动生成,建议开发者自己制定ID),此id用来标记消费者信息.

/consumers/[groupId]/ids/[consumerIdString]
Schema:
{

“version”:1,
“subscription”:{“test_kafka”:3},//订阅topic列表
“topic名称”: consumer中topic消费者线程数[与队列的分区数量有关]
“pattern”:”static”,
“timestamp”:”1416810012297″
}
Consumer owner:

/consumers/[groupId]/owners/[topic]/[partitionId]/consumer_thread

用来保存每个topic的的partition的是由那个消费者线程进行消费的信息。
Consumer offset:

/consumers/[groupId]/offsets/[topic]/[partitionId] /offset number

此节点是持久化节点,保存当前需要处理的消息的偏移量,用来继任消费者继续此节点开始处理消息。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,179评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,229评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,032评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,533评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,531评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,539评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,916评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,813评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,568评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,654评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,354评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,937评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,918评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,152评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,852评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,378评论 2 342

推荐阅读更多精彩内容