Zookeeper服务端单机模式启动流程。
一,zoo.cfg配置项详解
1,tickTime:基本事件单元,以毫秒为单位。这个时间是Zookeeper服务器和客户端的心跳间隔。
2,dataDir:Zookeeper保存数据的目录。说白了,就是Zookeeper的持久化目录。持久化是Zookeeper数据安全性的一个保证。
3,clientPort:服务端提供的端口,这个端口是用来接收客户端请求的。Zookeeper服务端启动后,会监听这个端口。
4,initLimit:Zookeeper接收客户端连接的最大心跳数量,超过该值则会返回连接失败信息给客户端。例如,initLimit等于10,则意味着如果客户端超过10个心跳间隔还没有响应服务端的话,则服务端认为此次连接失败。
5,syncLimit:这个配置项表示Leader和Follower之间发送消息,请求和应答的时间,最长不能超过多少个tickTime。
6,service.A = B:C:D
A表示这是第几号服务器。
B表示服务器的IP地址。
C表示服务器与集群中的Leader服务器交换信息的端口。
D表示如果Leader挂了,在新端口D上进行选举。
2181:Zookeeper服务端对外提供的端口。
2888:内部同步端口。
3888:Leader挂了,选举新的Leader的端口。
二,Zookeeper的角色
Zookeeper集群有三种角色:Leader、Follower、Observer,其中Follower和Observer统称为Learner。
Leader:负责处理客户端的写请求。
Follower:负责处理客户端的读请求,并参与Leader选举。
Observer:可以处理客户端的读请求,但是不参与选举。Observer是一个很特殊的角色,挂或者不挂,不会对Zookeeper集群造成影响,但是又可以扩展集群的读能力。个人理解,Observer就是Zookeeper框架设计者留的一个后门。
三,Zookeeper服务端的三种启动模式
1,standalone,单机模式,启动类是ZookeeperServerMain。
2,伪分布式模式
3,分布式模式(集群模式)
四,单机模式启动流程
单机模式启动流程,如下:
第一步:统一由QuorumPeerMain作为启动类。
无论是单机版启动模式还是集群启动模式,在zkServer.cmd和zkServer.sh两个脚本文件中,都会配置QuorumPeerMain作为启动入口类。
进入main方法,
QuorumPeerMain main = new QuorumPeerMain();
main.initializeAndRun(args);
第二步:解析配置文件zoo.cfg。
main.initializeAndRun(args)方法首先会解析配置文件。解析以后封装到QuorumPeerConfig config = new QuorumPeerConfig();
if (args.length == 1) {
config.parse(args[0]);
}
进入config.parse(path)方法,主要是读取配置文件,然后加载到Hashtable容器中,然后根据键值对解析,解析之后的,这些启动参数就封装到QuorumPeerConfig了。这个QuorumPeerConfig封装了所有配置文件中配置的参数。
Zookeeper启动时,会读取配置文件,默认就是/ZK_HOME/conf/目录下的zoo.cfg。解析以后会生成一个java.util.Properties对象。通过这个解析,就完成了启动参数的设置。
比如参数tickTime、dataDir、clientPort等都是在这里解析完成的。
第三步:创建并启动历史文件清理器DatadirCleanupManager。
DatadirCleanupManager purgeMgr = new DatadirCleanupManager(config.getDataDir(), config.getDataLogDir(), config.getSnapRetainCount)), config.getPurgeInterval());
purgeMgr.start();
大致流程是:根据配置的dataDir和DataLogDir,去对应的路径下读取文件列表,然后根据配置的自动清理周期,启动定时任务执行清理。注意,snapRetainCount的默认值为3,且该值的配置不能小于3。
日志清理规则的细节这里不再赘述,感兴趣的朋友可以自行研究源码。核心类有以下几个:
DatadirCleanupManager
PurgeTxnLog
FileTxnSnapLog
FileTxnLog
FileSnap
Zookeeper是内存数据库,同时也提供了持久化功能。通过快照和事务日志来实现持久化功能。
第四步:判断当前是集群模式还是单机模式。
HashMap<Long, QuorumServer> servers = new HashMap();
if (args.length == 1 && config.servers.size > 0) {
this.runFromConfig(config);
} else {
LOG.warn("Either no config or quorum defined in config, running in standalone mode");
ZookeeperServerMain. main();
}
Either no config or quorum defined in config, running in standalone mode
Zookeeper根据服务器列表地址来判断当前是集群模式还是单机模式。也就是说如果servers集合中的元素个数大于0,则是集群模式,否则是单机模式。如果是单机模式,则委托给ZookeeperServerMain进行处理。
第五步,再次解析配置文件zoo.cfg。
进入ZookeeperServerMain. main(),首先会解析zoo.cfg。
ServerConfig config = new ServerConfig();
if (args.length == 1) {
config.parse(args[0]);
} else {
config.parse(args);
}
QuorumPeerConfig config = new QuorumPeerConfig();
config.parse(path);
this. readFrom(config);
进入config.parse(path)方法,主要是读取配置文件,然后加载到Hashtable容器中,然后根据键值对解析,解析之后的,这些启动参数就封装到QuorumPeerConfig了。这个QuorumPeerConfig封装了所有配置文件中配置的参数。
然后执行this. readFrom(config),这段逻辑是把QuorumPeerConfig中的部分属性设置到ServerConfig中。主要是下面7个属性:
clientPortAddress
dataDir
dataLogDir
tickTime
maxClientCnxns
minSessionTimeout
maxSessionTimeout
第六步:创建服务器实例ZookeeperServer。
ZookeeperServer zkServer = new ZookeeperServer();
ZookeeperServer是单机版Zookeeper服务端核心实体类。Zookeeper服务器首先会创建服务器实例,然后会对该服务器实例进行一系列初始化操作。
第七步:创建服务器统计器ServerStats。
ZookeeperServer zkServer = new ZookeeperServer();
ZookeeperServer创建时,会设置serverStats。
this.serverStats = new ServerStats(this);
这里传入的this是Provider,Provider主要提供一下几个操作:
long getOutstandingRequests();
long getLastProcessedZxid();
String getState();
int getNumAliveConnections();
第八步:创建Zookeeper数据管理器FileTxnSnapLog。
初始化数据管理器的过程就是初始化FileTxnSnapLog的过程。FileTxnSnapLog类中定义了FileTxnLog和FileSnap。FileTxnLog负责处理事务日志,FileSnap负责处理快照。FileTxnSnapLog类是Zookeeper上层服务器与底层数据存储的中间层,提供一系列操作数据文件的方法。具体细节可以参考FileTxnSnapLog类的源码。
第九步:设置服务器tickTime和会话超时时间限制。
这里主要设置以下几个参数:
zkServer.setTickTime(config.tickTime);
zkServer.setMinSessionTimeout(config.minSessionTimeout);
zkServer.setMaxSessionTimeout(config.maxSessionTimeout);
第十步:初始化ServerCnxnFactory,启动ServerCnxnFactory主线程,创建并启动网络IO管理器。
this.cnxnFactory = ServerCnxnFactory.createFactory();
创建ServerCnxnFactory实例时,首先会从配置文件中读取zookeeper.serverCnxnFactory,也就是说,ServerCnxnFactory是可配置的,如果项目没有配置,则默认使用NIOServerCnxnFactory。
然后使用反射机制生成ServerCnxnFactory实例。
this.cnxnFactory.configure(config.getClientPortAddress, config.getMaxClientCnxns());
这里主要配置了SASL登录,创建守护线程处理请求,创建socket通信。这个socket通信,使用的是Java NIO或者Netty,是个不错的NIO实例,感兴趣的朋友可以研究一下。
ServerCnxnFactory是Zookeeper中的重要组件,负责处理客户端与服务器的连接。主要有两个实现,一个是NIOServerCnxnFactory,使用Java原生NIO处理网络IO事件。另一个是NettyServerCnxnFactory,使用Netty处理网络IO事件。ServerCnxnFactory作为处理客户端连接的组件,其会启动若干线程监听客户端连接端口(即默认的9876端口)。
注意:虽然这里的客户端服务端口已经对外开放,客户端能够访问到Zookeeper的客户端服务端口2181,但是此时Zookeeper服务器还是无法处理客户端请求的。
第11步:启动ServerCnxnFactory
this.cnxnFactory.startup(zkServer);
这个startup方法主要做了下面几件事:
// 开启线程
this.start();
// 加载事务日志和快照
zks.startdata();
Zookeeper启动的时候,需要从本地快照数据文件和事务日志文件中进行数据恢复。
//创建并启动会话管理器、初始化Zookeeper的请求处理链、注册JMX
zks.startup();
首先,会创建一个会话管理器SessionTracker。创建SessionTracker时会初始化expirationInterval、nextExpirationTime和sessionWithTimeout,同时还会计算出一个初始化的sessionId。注意,这里也会开启线程来进行会话管理。关于会话管理器的内容,可以参考我的另一篇文章,这里不再赘述。
接着,初始化Zookeeper的请求处理链。
Zookeeper的请求处理方式是典型的责任链模式的实现,在Zookeeper服务器上,会有多个请求处理器依次处理一个客户端请求。在服务器启动的时候,会将这些请求处理器串联起来形成一个处理器链。单机版服务器的请求处理链主要包括:
PreRequestProcessor
SyncRequestProcessor
FinalRequestProcessor
最后:注册JMX服务。
Zookeeper会将服务器运行时的一些信息以JMX的方式暴露给外部。
关于JMX的知识,可以自行脑补,注意不要和JMS搞混了。
第12步:注册Zookeeper服务器实例。
this.setZookeeperServer(zks);
之前的步骤中,我们启动了ServerCnxnFactory主线程,但是此时还不能处理客户端请求,为什么呢?因为此时网络层还不能访问Zookeeper服务器实例。在经过后续步骤的初始化以后,Zookeeper服务器实例已经初始化完毕只需要注册给ServerCnxnFactory即可,之后Zookeeper就可以对外提供正常的服务了。
最后,ServerCnxnFactory所在线程进入等待(WAITING)状态,开始对外提供服务。
this.cnxnFactory.join();
五,Zookeeper服务端架构图
这里就不再画了,我们就看网上的比较经典的一个图。
下面重点关注一下这些关键组件:
ServerCnxnFactory:Zookeeper服务端网络连接工厂。
SessionTracker:会话管理器。
RequestProcessor:Zookeeper的请求处理链,采用了责任链模式。
LearnerCnxAcceptor:这个类是Leader的内部类,是leader做数据同步的入口就是这个LearnerCnxAcceptor。
LearnerHandler:这个组件的主要功能是做数据同步。follower从leader同步数据,就是通过这个类来完成的。
FileTxnSnapLog:同步事务日志和快照到ZKDatabase。FileTxnLog和FileSnap最终都是要保存到文件中。也就是说,ZKDatabase的存储介质是磁盘。
DataTree:ZKDatabase的数据结构。
FastLeaderElection:Zookeeper默认的选举算法。