1. 主从复制架构演变介绍
1.1 基本结构
（1）一主一从
（2）一主多从
（3）多级主从
（4）双主
（5）循环复制
1.2 高级应用架构演变
1.2.1 高性能架构
（1）读写分离架构(读性能较高)
代码级别
MySQL proxy (Atlas,mysql router,proxySQL(percona),maxscale(MariaDB))、amoeba(taobao)
xx-dbproxy等。
（2）分布式架构(读写性能都提高):
分库分表——cobar--->TDDL(头都大了),DRDS
Mycat--->DBLE自主研发等。
NewSQL-->TiDB
1.2.2 高可用架构
（3）单活:MMM架构——mysql-mmm（google）
（4）单活:MHA架构——mysql-master-ha（日本DeNa）,T-MHA
（5）多活:MGR ——5.7 新特性 MySQL Group replication(5.7.17) --->Innodb Cluster
（6）多活:MariaDB Galera Cluster架构,(PXC)Percona XtraDB Cluster、MySQL Cluster(Oracle rac)架构
2. 高可用MHA
2.1 MHA Failover过程
1. MHA通过脚本(masterha_master_monitor)实时(ping_interval=2)监控主库的状态(主机,数据库状态)
2. 监控到主库宕机之后，会发生自动选主(masterha_master_switch)
(1) 权重:参数
(2) 日志量
(3) 配置文件的顺序
3. 数据补偿
(1) 当SSH能够连接,各个从库会立即保存(save_binary_logs)缺失部分的日志到/var/tmp
(2) 当SSH无法连接,通过脚本(apply_diff_relay_logs)自动进行从库relaylog差异处理,进行数据补偿
4. 构建新的主从关系,并将故障节点移除(配置文件移除)
5. MHA主进程完成工作后,会自动退出
6. 应用透明 VIP(master_ip_failover_script=/usr/local/bin/master_ip_failover)
7. 故障通知(report_script=/usr/local/bin/send)
8. 提供额外数据补偿的手段(binlog_server)
9. 自动自愈
2.2 架构介绍
1主2从，master：db01 ， slave：db02，db03
2.3 MHA软件构成
Manager工具包主要包括以下几个工具：
masterha_manger 启动MHA
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_master_monitor 检测master是否宕机
masterha_check_status 检测当前MHA运行状态
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息
Node工具包主要包括以下几个工具：
这些工具通常由MHA Manager的脚本触发，无需人为操作
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs 清除中继日志（不会阻塞SQL线程）
2.4 MHA环境搭建
2.4.1 规划
主库: 51 node
从库:
52 node
53 node manager
2.4.2 准备环境(略。1主2从GTID)
2.4.3 配置关键程序软连接
ln -s /data/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /data/mysql/bin/mysql /usr/bin/mysql
2.4.4 配置各节点互信
db01：
rm -rf /root/.ssh
ssh-keygen
cd /root/.ssh
mv id_rsa.pub authorized_keys
scp -r /root/.ssh 10.0.0.52:/root
scp -r /root/.ssh 10.0.0.53:/root
各节点验证
db01:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db02:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
db03:
ssh 10.0.0.51 date
ssh 10.0.0.52 date
ssh 10.0.0.53 date
2.4.5 安装软件
下载mha软件
mha官网：https://code.google.com/archive/p/mysql-master-ha/
github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
所有节点安装Node软件依赖包
yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
在db01主库中创建mha需要的用户
grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';
Manager软件安装（db03）
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
2.4.6 配置文件准备(db03)
创建配置文件目录
mkdir -p /etc/mha
创建日志目录
mkdir -p /var/log/mha/app1.cnf
编辑mha配置文件
vim /etc/mha/app1.cnf
[server default] 默认配置信息
manager_log=/var/log/mha/app1/manager manager的日志文件内容
manager_workdir=/var/log/mha/app1 工作路径
master_binlog_dir=/data/binlog 主库的二进制日志文件位置
user=mha 连接主库的用户
password=mha 连接主库的用户密码
ping_interval=2 探测间隔时间(s),默认探测三次
repl_password=123 主从复制用户密码
repl_user=repl 主从复制用户密码
ssh_user=root ssh互信用户
[server1] 节点信息
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
2.4.7 状态检查
互信检查
masterha_check_ssh --conf=/etc/mha/app1.cnf
主从状态检查
masterha_check_repl --conf=/etc/mha/app1.cnf
2.4.8 开启MHA(db03)
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
--remove_dead_master_conf 移除宕机的server
--ignore_last_failover 拒绝再一次测试failover
2.4.9 查看MHA状态
[root@db03 ~]$ masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:4719) is running(0:PING_OK), master:10.0.0.51
[root@db03 ~]$ mysql -umha -pmha -h 10.0.0.51 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 51 |
+---------------+-------+
[root@db03 ~]$ mysql -umha -pmha -h 10.0.0.52 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 52 |
+---------------+-------+
[root@db03 ~]$ mysql -umha -pmha -h 10.0.0.53 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 53 |
+---------------+-------+
2.4.10 故障模拟及处理
（1）停止主库
bd-51
/etc/init.d/mysqld stop
主库mysql服务故障，主库自己转到db-52
观察manager 日志 tail -f /var/log/mha/app1/manager
末尾显示successfully才算切换主库成功
（2）修复主库
/etc/init.d/mysqld start
（3）主从修复
[root@db01 ~]$ mysql -e "change master to master_host='10.0.0.52',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;"
[root@db01 ~]$ mysql -e "start slave;"
[root@db01 ~]$ mysql -e "show slave status \G"|grep Running:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
（4）MHA配置文件修复(恢复server1)
[root@db03 ~]$ vim /etc/mha/app1.cnf
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root
user=mha
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
（5）启动MHA并且检查
masterha_stop --conf=/etc/mha/app1.cnf 停止MHA
[root@db03 ~]$ nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
[1] 8913
[root@db03 ~]$
[root@db03 ~]$ masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:8913) is running(0:PING_OK), master:10.0.0.52
2.4.11 Manager参数介绍
说明：
主库宕机谁来接管？
1. 所有从节点日志都是一致的，默认会以配置文件的顺序去选择一个新主。
2. 从节点日志不一致，自动选择最接近于主库的从库
3. 如果对于某节点设定了权重（candidate_master=1），权重节点会优先选择。
但是此节点日志量落后主库100M日志的话，也不会被选择。可以配合check_repl_delay=0，关闭日志量的检查，强制选择候选节点。
vim /etc/mha/app1.cnf
(1) ping_interval=1
#设置监控主库，发送ping包的时间间隔，尝试三次没有回应的时候自动进行failover
(2) candidate_master=1
#设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave
(3)check_repl_delay=0
#默认情况下如果一个slave落后master 100M的relay logs的话，
MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
2.4.12 MHA 的vip功能
MHA分享地址，内有master_ip_failover脚本
(1) 准备vip脚本
[root@db03 ~]# cp master_ip_failover.txt /usr/local/bin/master_ip_failover
[root@db03 ~]# cd /usr/local/bin/
[root@db03 /usr/local/bin]# yum install -y dos2unix
[root@db03 /usr/local/bin]# dos2unix master_ip_failover
[root@db03 /usr/local/bin]# chmod +x master_ip_failover
(2) 更改manager配置文件：
vi /etc/mha/app1.cnf
添加：
master_ip_failover_script=/usr/local/bin/master_ip_failover
(3) 修改配置文件虚拟ip
[root@db03 bin]$ vim /usr/local/bin/master_ip_failover
my $vip = '10.0.0.55/24'; 修改vip地址
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip"; 修改网卡
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down"; 修改网卡
(4)主库上，手工生成第一个vip地址
手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)
ifconfig eth0:1 10.0.0.55/24
(5) 重启MHA
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
2.4.13 邮件提醒
(1) 添加配置选项
vi /etc/mha/app1.cnf
report_script=/usr/local/bin/send
(2) 拷贝脚本
[root@db03 ~]$ cp -a email/* /usr/local/bin
添加权限
chmod +x /usr/local/bin/*
修改发送邮件信息
[root@db03 ~]$ vim /usr/local/bin/testpl
#!/bin/bash
/usr/local/bin/sendEmail -o tls=no -f 发件地址 -t 收件地址 -s smtp.163.com:25 -xu 邮箱名称 -xp email-password -u "MHA Waring" -m "YOUR MHA MAY BE FAILOVER" &>/tmp/sendmail.log
（3）停止MHA
masterha_stop --conf=/etc/mha/app1.cnf
（4）开启MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
检查
masterha_check_status --conf=/etc/mha/app1.cnf
2.4.14 binlog server(db-03)
（1）添加配置信息
vim /etc/mha/app1.cnf
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog 需要独立，不能和其他日志路径冲突
(2) 创建必要目录
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/*
(3)拉取主库binlog日志
cd /data/mysql/binlog
mysqlbinlog -R --host=10.0.0.51 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
>> 注意：
拉取日志的起点,需要按照目前从库的已经获取到的二进制日志点为起点
(4) 重启MHA
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
MHA修复过程
故障处理:
1. 检查MHA状态
[root@db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
2. 检查配置文件
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
master_ip_failover_script=/usr/local/bin/master_ip_failover
password=mha
ping_interval=2
repl_password=123
repl_user=repl
report_script=/usr/local/bin/send
ssh_user=root
user=mha
[server1]
hostname=10.0.0.51
port=3306
[server2]
hostname=10.0.0.52
port=3306
[server3]
hostname=10.0.0.53
port=3306
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog
3. 检查ssh状态:
[root@db03 ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf
4. 检查脚本
[root@db03 /usr/local/bin]# ls -l /usr/local/bin/
5. 检查binlogserver
[root@db03 /usr/local/bin]# ps -ef |grep mysqlbinlog
6. 确认主库,恢复binlog_server
db01 [(none)]>show master status
+------------------+----------+--------------+------------------+------------------------------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+------------------------------------------+
| mysql-bin.000006 | 194 | | | a5260572-c262-11e9-bab1-000c2980e248:1-2 |
+------------------+----------+--------------+------------------+------------------------------------------+
1 row in set (0.00 sec)
[root@db03 /usr/local/bin]# cd /data/mysql/binlog/
[root@db03 /data/mysql/binlog]# rm -rf *
[root@db03 /data/mysql/binlog]# mysqlbinlog -R --host=10.0.0.51 --user=mha --password=mha --raw --stop-never mysql-bin.000006 &
7. 检查主库vip
[root@db01 ~]# ifconfig eth0:1 10.0.0.55/24
8. 检查主从状态
[root@db03 /data/mysql/binlog]# masterha_check_repl --conf=/etc/mha/app1.cnf
9. 启动MHA
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
[root@db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:8255) is running(0:PING_OK), master:10.0.0.51
3. 读写分离及分布式架构
1. atlas实现读写分离
1.1 安装ATLAS(上面分享的压缩包中有此软件)
[root@db03 ~]$ rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:Atlas-2.2.1-1 ################################# [100%]
1.2 配置
[root@db03 ~]$ cd /usr/local/mysql-proxy/conf/
[root@db03 conf]$ cat > test.cnf <<EOF
> [mysql-proxy]
> admin-username = user 管理相关的用户
> admin-password = pwd 管理相关的用户
> proxy-backend-addresses = 10.0.0.55:3306 主库的IP(写入的库,此处为VIP)
> proxy-read-only-backend-addresses = 10.0.0.52:3306,10.0.0.53:3306 只读节点
> pwds = repl:3yb5jEku5h4=,mha:O2jBXONX098= 数据库用户,访问数据库的用户
> daemon = true
> keepalive = true
> event-threads = 8 线程数量
> log-level = message
> log-path = /usr/local/mysql-proxy/log
> sql-log=ON 操作日志
> proxy-address = 0.0.0.0:33060 对外端口
> admin-address = 0.0.0.0:2345 对内管理端口
> charset=utf8
> EOF
1.3 启动atlas
[root@db03 conf]$ /usr/local/mysql-proxy/bin/mysql-proxyd test start
OK: MySQL-Proxy of test is started
[root@db03 conf]$ ps -ef |grep proxy
root 11397 1 0 10:33 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root 11398 11397 0 10:33 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
root 11411 7331 0 10:33 pts/1 00:00:00 grep --color=auto proxy
1.4 查看server_id(会自动切换读的数据库)
[root@db03 conf]$ mysql -umha -pmha -h 10.0.0.53 -P 33060
db03 [(none)]>select @@server_id;
+-------------+
| @@server_id |
+-------------+
| 53 |
+-------------+
1 row in set (0.00 sec)
db03 [(none)]>select @@server_id;
+-------------+
| @@server_id |
+-------------+
| 52 |
+-------------+
1 row in set (0.00 sec)
