应用场景
在解决内网环境集群主机的时间同步问题时，遇到了ntp的错误no server suitable for synchronization found，之前在生产环境也遇到过这个错误，为彻底解决这个小问题，查阅了鸟哥的NTP服务器一篇，对比了网上的一些解决方案，按作为服务端和用户端的应用场景分别进行了梳理。
在实际生产环境中，我们的集群主机通常都是部署在内网环境中，这又分两种情况，一种是在整个生产环境中，有一台或少数主机可以和公网连通，一种是整个集群主机都在内网。有些分布式的应用对主机的时间同步要求比较高，那么，我们如何做到集群主机间的时间同步呢？
本文约定，上级NTP服务器为xxx.ntp.server，集群中提供NTP服务的主机为192.168.169.100。进行NTP同步的用户端主机为(192.168.169.101、192.168.169.102)。
集群主机时间同步思路
首先明确两个时间的概念：软体时间(Linux系统时间)是Linux操作系统根据1970/01/01 00:00:00开始计算的总秒数，可用date +%s查看，硬体时间(BIOS时间)是硬件系统上面的时间，例如BIOS记录的时间，可用hwclock -r查看。由于BIOS内部芯片的问题，导致BIOS与标准时间(UTC)有一点点的差异存在，长时间运行后，累积的时间偏差会很大，所以时间同步的工作就很重要了。
那么怎么让我们集群内所有的主机时间同步呢？
- 选择一部主机作为服务端，这部主机可与公网连通，让这个服务端主机的时间与它的上级时间同步服务器的时间同步，这个上级也是向上一层一层传递的，我们选择国内主流的NTP Server进行同步即可，假设公网的NTP Server为xxx.ntp.server。
- 一种可能的情况是，它的上级不存在，即集群内所有主机都在内网，那么可以选择其中一台主机作为服务端部署NTP服务，其他主机与这台NTP服务器同步即可，实现集群主机的时间同步。
- 开放网络服务让客户端连接，让客户端根据服务端时间调整自己的时间，使集群内的客户端的时间都与服务端一致，这样就达到集群的主机时间同步。
NTP服务的部署
所需软件安装yum install -y ntp ntpdate。服务主要的配置文件在/etc/ntp.conf。
应用场景1，集群环境有公网主机，可与上级NTP服务器xxx.ntp.server连通，
- 有上层NTP服务器，xxx.ntp.server。
- 不对公网提供服务，仅允许内部网192.168.169.0/24查询。
- 检测BIOS时间与Linux系统的时间差异并写入
/var/lib/ntp/drift。
服务端主机(192.168.169.100)设置如下，
vi /etc/ntp.conf
# 放行上级NTP服务器
restrict xxx.ntp.server # 放行xxx.ntp.server进入本NTP服务器
# 放行局域网来源
restrict 192.168.169.0 mask 255.255.255.0 nomodify # 用戶端不能使用ntpc和ntpq 這兩个命令來修改服务器的时间参数， 但用戶端仍可通过这部主机进行网络较时。
# 设定上级NTP服务器来源，将配置文件原来的[0|1|2|3].centos.pool.ntp.org注释掉
server xxx.ntp.server prefer # 以这部主机优先
driftfile /var/lib/ntp/drift # 预设时间差异分析，不需修改
# NTP启动与开机启动
service ntpd start
chkconfig ntpd on
NTP的启动与观察，
# 观察ntpd服务状态
[hadoop@hadoopmaster ~]$ service ntpd status
ntpd is stopped
[hadoop@hadoopmaster ~]$ chkconfig --list | grep ntp
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
ntpdate 0:off 1:off 2:off 3:off 4:off 5:off 6:off
# 启动与设置开机启动
service ntpd start/stop/restart # 启动/停止/重启
chkconfig ntpd on/off # 开机启动开启/关闭
# 观察服务启动端口
netstat -tlunp | grep ntp
# 观察指令
ntpstat
ntpq -p
注意，上述的ntpstat和ntpq -p的输出结果中。ntp服务器要能够连上上层ntp服务器，否则下层服务端无法对我们的ntp服务器进行同步更新。
用户端主机(192.168.169.101、192.168.169.102、……)设置如下：
vi /etc/ntp.conf
restrict 192.168.169.100
server 192.168.169.100
service ntpd start
chkconfig ntpd on
重点，应用场景2，集群所有主机都在内网，没有主机可与公网连通，
首先可以想到，让其中一台主机作为服务端，其他主机作为用户端，在服务端主机按如上所述放行局域网来源，
# 放行局域网来源
restrict 192.168.169.0 mask 255.255.255.0 nomodify # 用戶端不能使用ntpc和ntpq 這兩个命令來修改服务器的时间参数， 但用戶端仍可通过这部主机进行网络较时。
用户端主机(192.168.169.101、192.168.169.102)同样设置如下：
vi /etc/ntp.conf
restrict 192.168.169.100
server 192.168.169.100
service ntpd start
chkconfig ntpd on
这就会出现错误no server suitable for synchronization found，这是因为NTP Server还没有和它自身或者它的上级Server同步上。进行如下配置，让NTP Server和其自身保持同步，如果在/etc/ntp.conf中定义的Server都不可用时，将使用local时间作为ntp服务提供给ntp客户端。
server 127.127.1.0
fudge 127.127.1.0 stratum 8
在NTP Server上重新启动ntp服务后，NTP Server自身或者与其上级Server的同步的需要一个时间段，这个过程可能是5分钟，在这个时间之内在客户端运行ntpdate命令时会产生no server suitable for synchronization found的错误。
可用如下命令查看NTP Server何时完成和自身的同步。在NTP Server上使用命令watch ntpq -p。ntpq -p可以列出目前我們的NTP与相关的上层NTP的状态。出现的LOCAL的这个就是与自身同步的NTP Server。注意reach这个值，在启动NTP Server服务后，这个值就从0开始不断增加，当增加到17的时候，从0到17是5次的变更，每一次是poll的值的秒数，是64秒*5=320秒的时间。如果之后从ntp客户端同步ntp server还失败的话，用ntpdate –d来查询详细错误信息，再做判断。
用户端时间更新
应用场景1，用户端手动校时
# 软体时间修改
date -s "YYYYMMDD hh:mm:ss"
# 修改BIOD记录的时间
date;hwclock -r # 查阅软体时间和硬体时间
hwclock -w;hwclock -r;date # 写入硬体时间，这样软体时间与硬体时间就同步了
注意，用date -s更新完Linux系统的时间后，需要用hwclock -w更新BIOS时间。因为每次重新开机时，系统会重新由BIOS时间读出来。
应用场景2，用户端网络较时，
可用ntpdate进行网络较时，但要注意，因为NTP服务器本身会与它的上级服务器进行时间同步，所以在NTP服务器不可以使用ntpdate，即ntp与ntpdate不能同时启用。
ntpdate -dv [NTP IP/hostname] # -d为debug模式，-v显示详细信息
用户端进行网络较时方法一，利用ntpdate，写入crontab，每天5:10主机会自动进行网络较时，这个方式适合不启动ntpd服务的情况。
vi /etc/crontab
10 5 * * * root (/usr/sbin/ntpdate xxx.ntp.server && /sbin/hwclock -w) &> /dev/null
用户端进行网络较时方法二，如果ntpd的server/client时间误差超过1000秒，得先进行手工同步。然后利用NTP，加入我们要的NTP服务器，启动ntpd并设置开机启动，并取消crontab更新程序。
vi /etc/ntp.conf
restrict 192.168.169.100
server 192.168.169.100
service ntpd start
chkconfig ntpd on
注意，提供ntp服务的主机要能够连上上层ntp服务器，否则下层用户端无法对我们的ntp服务器进行同步更新，即192.168.169.100需要与公网的上级NTP服务器连通。
微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。
读者交流电报群
知识星球交流群
