集群恢复
小强维护着一套生成的OpenShift集群，突然有一天集群的master1节点出现异常，自动关机了。他尝试了多次，都无法开机，怎么办？
他需要赶快恢复master1节点，来满足集群的高可用性。
原来的masters在ansible/hosts中的顺序如下
[masters]
master1 ## 重要主节点，安装完后单独保存/etc/etcd/ca中的证书
master2
master3
[etcd]
master1
master2
master3
[nodes]
master1
master2
master3
恢复过程如下：
- 新建一台 master1节点，hostname 与 IP 都和原 master1 节点一致
- 在master2上恢复master主节点的证书、ca.serial.txt及openshift软件。
- 通过新增 master 的方式将这个节点重新加回集群
- 通过新增 etcd 的方法，恢复了这台 master 节点 etcd 的状况
以下是恢复的具体步骤。
一、初始化Master节点
- 与部署机互信
- 开启selinux
- 关闭firewalld
- DNS配置或者/etc/hosts
- HostName设置
- NTP
- ETCD盘与docker盘，如果需要提前准备的话
- Yum源设置
二、删除问题Master节点
oc delete node master1
三、在master2节点上准备好相关证书及软件
- 恢复master主节点的证书
在/etc/ansible/hosts的[masters]/[etcd]/[nodes]组中注释掉master1节点，后执行
$ ansible-playbook playbooks/openshift-etcd/redeploy-ca.yml
- 恢复ca.serial.txt文件
在备份的配置中将ca.serial.txt文件拷贝到/etc/origin/master/ca.serial.txt
$ scp ca.serial.txt master2:/etc/origin/master/ca.serial.txt
- 安装openshift命令
$ yum install openshift
如果显示找不到该包，请查看/etc/yum.conf的配置，将openshift包从exclude中删除
四、恢复Master节点
- /etc/ansible/hosts中将需要恢复的节点从[masters]/[etcd]/[nodes]组移到[new_masters]、[new_nodes]组，并将三个组添加到[OSEv3:children]
[OSEv3:children]
masters
etcd
nodes
new_masters
new_etcd
new_nodes
[masters]
master2
master3
[etcd]
master2
master3
[nodes]
master2
master3
[new_masters]
master1
[new_etcd]
master1
[new_nodes]
master1
- 执行master节点的scale_up.yaml
ansible-playbook playbooks/openshift-master/scaleup.yaml
- 检查master1的恢复状态
$ oc get node
$ oc get pod -n kube-system
- 将master1节点从[new_masters]/[new_nodes]中移到[masters]/[nodes]中，并将它放到各个组的最后面。
[OSEv3:children]
masters
etcd
nodes
new_etcd
[masters]
master2
master3
master1
[etcd]
master2
master3
[nodes]
master2
master3
master1
[new_etcd]
master1
五、恢复ETCD服务
- 在正常的master节点，如master2上移除有问题的etcd节点
$ etcdctl2 member list
23868989e8af989: name=master1 isLeader=false
45f23429e8af943: name=master2 isLeader=false
5323823fadaf989: name=master3 isLeader=true
$ etcdctl2 member remove 23868989e8af989
- 执行etcd的扩容操作etcd scaleup.yaml
ansible-playbook playbooks/openshift-etcd/scaleup.yaml
- 待执行完成后，检查etcd pod状态
$ oc get pod -n kube-system
$ etcdctl2 cluster-health
- 将master1节点从[new_etcd]组移到[etcd]组的最后面。
[OSEv3:children]
masters
etcd
nodes
[masters]
master2
master3
[etcd]
master2
master3
[nodes]
master2
master3
- 恢复master1节点的etcdctl命令
将/etc/profile.d/etcdctl.sh文件拷贝到master1节点的/etc/profile.d/etcdctl.sh，并执行source /etc/profile.d/etcdctl.sh
总结
- 多Master节点的集群具有高可用性，任一节点出现问题都不会影响到集群的服务，但是我们必须尽快恢复它，以免再出现一台主节点出现异常，这将会导致集群故障。
- 多台Master节点中，第一台Master节点是特殊的节点，有些证书、配置文件只放在这台节点上，但是扩容时会需要用到。（详情可看openshift-ansible中的代码，很多证书都是从openshift_ca_host主机复制，而openshift_ca_host={{ groups.oo_first_master.0 }}）。
- 在完成恢复后，需要及时恢复ansible/hosts中的内容，将恢复的节点加到对应组的后面，方便下次主机的扩容与维护。
