Zookeeper服务端单机模式启动流程

Zookeeper服务端单机模式启动流程。


一,zoo.cfg配置项详解


1,tickTime:基本事件单元,以毫秒为单位。这个时间是Zookeeper服务器和客户端的心跳间隔。

2,dataDir:Zookeeper保存数据的目录。说白了,就是Zookeeper的持久化目录。持久化是Zookeeper数据安全性的一个保证。

3,clientPort:服务端提供的端口,这个端口是用来接收客户端请求的。Zookeeper服务端启动后,会监听这个端口。

4,initLimit:Zookeeper接收客户端连接的最大心跳数量,超过该值则会返回连接失败信息给客户端。例如,initLimit等于10,则意味着如果客户端超过10个心跳间隔还没有响应服务端的话,则服务端认为此次连接失败。

5,syncLimit:这个配置项表示Leader和Follower之间发送消息,请求和应答的时间,最长不能超过多少个tickTime。

6,service.A = B:C:D

A表示这是第几号服务器。

B表示服务器的IP地址。

C表示服务器与集群中的Leader服务器交换信息的端口。

D表示如果Leader挂了,在新端口D上进行选举。

2181:Zookeeper服务端对外提供的端口。

2888:内部同步端口。

3888:Leader挂了,选举新的Leader的端口。


二,Zookeeper的角色


Zookeeper集群有三种角色:Leader、Follower、Observer,其中Follower和Observer统称为Learner。

Leader:负责处理客户端的写请求。

Follower:负责处理客户端的读请求,并参与Leader选举。

Observer:可以处理客户端的读请求,但是不参与选举。Observer是一个很特殊的角色,挂或者不挂,不会对Zookeeper集群造成影响,但是又可以扩展集群的读能力。个人理解,Observer就是Zookeeper框架设计者留的一个后门。


三,Zookeeper服务端的三种启动模式


1,standalone,单机模式,启动类是ZookeeperServerMain。

2,伪分布式模式

3,分布式模式(集群模式)


四,单机模式启动流程


单机模式启动流程,如下:

第一步:统一由QuorumPeerMain作为启动类。

无论是单机版启动模式还是集群启动模式,在zkServer.cmd和zkServer.sh两个脚本文件中,都会配置QuorumPeerMain作为启动入口类。

进入main方法,

QuorumPeerMain main = new QuorumPeerMain();

main.initializeAndRun(args);


第二步:解析配置文件zoo.cfg。

main.initializeAndRun(args)方法首先会解析配置文件。解析以后封装到QuorumPeerConfig config = new QuorumPeerConfig();

if (args.length == 1) {

    config.parse(args[0]);

}

进入config.parse(path)方法,主要是读取配置文件,然后加载到Hashtable容器中,然后根据键值对解析,解析之后的,这些启动参数就封装到QuorumPeerConfig了。这个QuorumPeerConfig封装了所有配置文件中配置的参数。


Zookeeper启动时,会读取配置文件,默认就是/ZK_HOME/conf/目录下的zoo.cfg。解析以后会生成一个java.util.Properties对象。通过这个解析,就完成了启动参数的设置。

比如参数tickTime、dataDir、clientPort等都是在这里解析完成的。


第三步:创建并启动历史文件清理器DatadirCleanupManager。

DatadirCleanupManager purgeMgr = new DatadirCleanupManager(config.getDataDir(), config.getDataLogDir(), config.getSnapRetainCount)), config.getPurgeInterval());

purgeMgr.start();

大致流程是:根据配置的dataDir和DataLogDir,去对应的路径下读取文件列表,然后根据配置的自动清理周期,启动定时任务执行清理。注意,snapRetainCount的默认值为3,且该值的配置不能小于3。

日志清理规则的细节这里不再赘述,感兴趣的朋友可以自行研究源码。核心类有以下几个:

DatadirCleanupManager

PurgeTxnLog

FileTxnSnapLog

FileTxnLog

FileSnap

Zookeeper是内存数据库,同时也提供了持久化功能。通过快照和事务日志来实现持久化功能。


第四步:判断当前是集群模式还是单机模式。

HashMap<Long, QuorumServer> servers = new HashMap();

if (args.length == 1 && config.servers.size > 0) {

    this.runFromConfig(config);

} else {

    LOG.warn("Either no config or quorum defined in config, running in standalone mode");

    ZookeeperServerMain. main();

}

Either no config or quorum defined in config, running in standalone mode

Zookeeper根据服务器列表地址来判断当前是集群模式还是单机模式。也就是说如果servers集合中的元素个数大于0,则是集群模式,否则是单机模式。如果是单机模式,则委托给ZookeeperServerMain进行处理。


第五步,再次解析配置文件zoo.cfg。

进入ZookeeperServerMain. main(),首先会解析zoo.cfg。

ServerConfig config = new ServerConfig();

if (args.length == 1) {

    config.parse(args[0]);

} else {

    config.parse(args);

}


QuorumPeerConfig config = new QuorumPeerConfig();

config.parse(path);

this. readFrom(config);

进入config.parse(path)方法,主要是读取配置文件,然后加载到Hashtable容器中,然后根据键值对解析,解析之后的,这些启动参数就封装到QuorumPeerConfig了。这个QuorumPeerConfig封装了所有配置文件中配置的参数。

然后执行this. readFrom(config),这段逻辑是把QuorumPeerConfig中的部分属性设置到ServerConfig中。主要是下面7个属性:

clientPortAddress

dataDir

dataLogDir

tickTime

maxClientCnxns

minSessionTimeout

maxSessionTimeout


第六步:创建服务器实例ZookeeperServer。

ZookeeperServer zkServer = new ZookeeperServer();

ZookeeperServer是单机版Zookeeper服务端核心实体类。Zookeeper服务器首先会创建服务器实例,然后会对该服务器实例进行一系列初始化操作。


第七步:创建服务器统计器ServerStats。

ZookeeperServer zkServer = new ZookeeperServer();

ZookeeperServer创建时,会设置serverStats。

this.serverStats = new ServerStats(this);

这里传入的this是Provider,Provider主要提供一下几个操作:

long getOutstandingRequests();

long getLastProcessedZxid();

String getState();

int getNumAliveConnections();


第八步:创建Zookeeper数据管理器FileTxnSnapLog。

初始化数据管理器的过程就是初始化FileTxnSnapLog的过程。FileTxnSnapLog类中定义了FileTxnLog和FileSnap。FileTxnLog负责处理事务日志,FileSnap负责处理快照。FileTxnSnapLog类是Zookeeper上层服务器与底层数据存储的中间层,提供一系列操作数据文件的方法。具体细节可以参考FileTxnSnapLog类的源码。


第九步:设置服务器tickTime和会话超时时间限制。

这里主要设置以下几个参数:

zkServer.setTickTime(config.tickTime);

zkServer.setMinSessionTimeout(config.minSessionTimeout);

zkServer.setMaxSessionTimeout(config.maxSessionTimeout);


第十步:初始化ServerCnxnFactory,启动ServerCnxnFactory主线程,创建并启动网络IO管理器。

this.cnxnFactory = ServerCnxnFactory.createFactory();

创建ServerCnxnFactory实例时,首先会从配置文件中读取zookeeper.serverCnxnFactory,也就是说,ServerCnxnFactory是可配置的,如果项目没有配置,则默认使用NIOServerCnxnFactory。

然后使用反射机制生成ServerCnxnFactory实例。


this.cnxnFactory.configure(config.getClientPortAddress, config.getMaxClientCnxns());

这里主要配置了SASL登录,创建守护线程处理请求,创建socket通信。这个socket通信,使用的是Java NIO或者Netty,是个不错的NIO实例,感兴趣的朋友可以研究一下。


ServerCnxnFactory是Zookeeper中的重要组件,负责处理客户端与服务器的连接。主要有两个实现,一个是NIOServerCnxnFactory,使用Java原生NIO处理网络IO事件。另一个是NettyServerCnxnFactory,使用Netty处理网络IO事件。ServerCnxnFactory作为处理客户端连接的组件,其会启动若干线程监听客户端连接端口(即默认的9876端口)。

注意:虽然这里的客户端服务端口已经对外开放,客户端能够访问到Zookeeper的客户端服务端口2181,但是此时Zookeeper服务器还是无法处理客户端请求的。



第11步:启动ServerCnxnFactory

this.cnxnFactory.startup(zkServer);

这个startup方法主要做了下面几件事:

// 开启线程

this.start();

// 加载事务日志和快照

zks.startdata();

Zookeeper启动的时候,需要从本地快照数据文件和事务日志文件中进行数据恢复。

//创建并启动会话管理器、初始化Zookeeper的请求处理链、注册JMX

zks.startup();

首先,会创建一个会话管理器SessionTracker。创建SessionTracker时会初始化expirationInterval、nextExpirationTime和sessionWithTimeout,同时还会计算出一个初始化的sessionId。注意,这里也会开启线程来进行会话管理。关于会话管理器的内容,可以参考我的另一篇文章,这里不再赘述。

接着,初始化Zookeeper的请求处理链。

Zookeeper的请求处理方式是典型的责任链模式的实现,在Zookeeper服务器上,会有多个请求处理器依次处理一个客户端请求。在服务器启动的时候,会将这些请求处理器串联起来形成一个处理器链。单机版服务器的请求处理链主要包括:

PreRequestProcessor

SyncRequestProcessor

FinalRequestProcessor

最后:注册JMX服务。

Zookeeper会将服务器运行时的一些信息以JMX的方式暴露给外部。

关于JMX的知识,可以自行脑补,注意不要和JMS搞混了。


第12步:注册Zookeeper服务器实例。

this.setZookeeperServer(zks);

之前的步骤中,我们启动了ServerCnxnFactory主线程,但是此时还不能处理客户端请求,为什么呢?因为此时网络层还不能访问Zookeeper服务器实例。在经过后续步骤的初始化以后,Zookeeper服务器实例已经初始化完毕只需要注册给ServerCnxnFactory即可,之后Zookeeper就可以对外提供正常的服务了。

最后,ServerCnxnFactory所在线程进入等待(WAITING)状态,开始对外提供服务。

this.cnxnFactory.join();


五,Zookeeper服务端架构图


这里就不再画了,我们就看网上的比较经典的一个图。

图片发自简书App


下面重点关注一下这些关键组件:

ServerCnxnFactory:Zookeeper服务端网络连接工厂。

SessionTracker:会话管理器。

RequestProcessor:Zookeeper的请求处理链,采用了责任链模式。

LearnerCnxAcceptor:这个类是Leader的内部类,是leader做数据同步的入口就是这个LearnerCnxAcceptor。

LearnerHandler:这个组件的主要功能是做数据同步。follower从leader同步数据,就是通过这个类来完成的。

FileTxnSnapLog:同步事务日志和快照到ZKDatabase。FileTxnLog和FileSnap最终都是要保存到文件中。也就是说,ZKDatabase的存储介质是磁盘。

DataTree:ZKDatabase的数据结构。

FastLeaderElection:Zookeeper默认的选举算法。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容