Mysql分布式部署 - 多级复制

1,概述

1.1,Mysql主从复制的常用体系结构基本原则

  • 每个Slave只能有一个 Master;
  • 每个Master或Slave只能有一个唯一的服务器ID;
  • 每个Master可以有很多Slave;
  • 如果你设置了log_slave_updates,Slave可以是其他Slave的Master,从而扩散Master的更新;
  • MySQL不支持多主服务器复制,即不支持一个 Slave 可以有多个 Master,但是,通过一些简单的组合,我们却可以建立灵活而强大的复制体系结构。

1.2,一主多从复制架构

场景

在主库读取请求压力非常大的场景下,可以通过配置一主多从复制架构实现读写分离,把大量对实时性要求不是特别高的读请求通过负载均衡到多个从库上,降低主库的读取压力。在主库出现异常宕机的情况下,可以把一个从库切换为主库继续提供服务;

建议

  • 当 Slave 增加到一定数量时,Slave 对 Master 的负载以及网络带宽都会成为一个严重的问题;
  • 不同的 Slave 扮演不同的作用(例如使用不同的索引,或者不同的存储引擎);
  • 用一个 Slave 作为备用 Master,只进行复制;
  • 用一个远程的 Slave,用于灾难恢复。

1.3,多级复制架构

场景

一主多从的架构能够解决大部分读请求压力特别大的场景需求,但主库的I/O压力和网络压力会随着从库的增加而增长,而使用多级复制架构就可以解决一主多从场景下,主库额外的I/O和网络压力。 但要注意的是,多级复制场景下主库的数据是经历两次才到达读取的从库,期间的延时比一主多从复制场景下只经历一次复制的要大。

建议

  • 可能存在延时较长的风险;
  • 这种方案可以与第三方软件结合使用,例如Slave+LVS+Keepalived 实现高可用。

1.4,双主复制/Dual Master架构

场景

双主/Dual Master架构适用于写压力比较大的场景,或者DBA做维护需要主从切换的场景,通过双主/Dual master架构避免了重复搭建从库的麻烦。

建议

  • 最大问题就是更新冲突;
  • 可以采用MySQL Cluster,以及将Cluster和Replication结合起来,可以建立强大的高性能的数据库平台。

2,基本原理和步骤

Slave服务配置log_slave_updates=1,可以保证Slave服务收到Master服务的数据更新操作后,在执行该操作之后,将操作写入到bin-log中,从而,保证该Mysql服务既做Slave,又做Master。

mysql多级复制.jpg

3,实现过程(采用Docker方式部署)

3.1,主服务器(计划提供Master服务的一级Slave服务)

  • 开启二进制日志,并配置唯一的server-id
# 在[mysqld]下增加配置
root@mysql_slave:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf 
...
...
# 开启二进制日志,可以写绝对路径,例如/var/log/mysql/master-bin
log-bin   = mysql-bin
# Mysql服务ID,必须保证唯一
server-id = 2

# 不进行主从复制的db
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
# 进行主从复制的db
binlog-do-db = test

# 只保存最近7天的bin-log文件,避免文件过多
expire_logs_days=7

# 允许从master收到的数据再次写入到bin-log中,从而完成slave到slave数据的传播
log_slave_updates = 1
  • 重启Mysql服务
root@mysql_slave:/etc/mysql/mysql.conf.d# service mysql restart
  • 创建一个用于slave和master通信的用户账号slave1
mysql> CREATE USER 'slave1'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'%';
  • 创建测试账号和数据库
mysql> Grant all privileges on *.* to 'test'@'%' identified by '123456' with grant option;
mysql> Create database test;
  • 查看master状态,获得master二进制日志文件名及位置
mysql> show master status;
+------------------+----------+--------------+--------------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB         | Executed_Gtid_Set |
+------------------+----------+--------------+--------------------------+-------------------+
| mysql-bin.000008 |      1453| test         | mysql,information_schema |                   |
+------------------+----------+--------------+--------------------------+-------------------+
1 row in set (0.00 sec)

3.2,从服务器(二级Slave服务)

  • 启动新容器slave,命名为mysql_slave11,设置静态IP为172.18.0.12
kevin@apple:~$ docker run -it --name mysql_slave11 -h mysql_slave11 \
-p 13308:3306 --net my_network --ip 172.18.0.12 \
--add-host mysql_master:172.18.0.11 \
mysql:latest /bin/bash

root@mysql_slave11:/# apt-get update
root@mysql_slave11:/# apt-get install vim
root@mysql_slave11:/# apt-get install net-tools
root@mysql_slave11:/# apt-get install tmux
  • 配置唯一的server-id
# 在[mysqld]下增加配置
root@mysql_slave11:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf 
...
...
# Mysql服务ID,必须保证唯一
server-id = 3
  • 使用master分配的用户账号读取master二进制日志
mysql> CHANGE MASTER TO
MASTER_HOST='mysql_master',
MASTER_PORT=3307,
MASTER_USER='slave1',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000008',
MASTER_LOG_POS=1453;
  • 启用slave服务,并查看状态
mysql> start slave;
mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: mysql_master
                  Master_User: slave1
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000008
          Read_Master_Log_Pos: 1453
               Relay_Log_File: mysql_slave-relay-bin.000004
                Relay_Log_Pos: 1637
        Relay_Master_Log_File: mysql-bin.000005
             Slave_IO_Running: Yes                                     # IO线程是启动状态,如果是No,可以查看下面日志,分析处理
            Slave_SQL_Running: Yes                                     # SQL线程是启动状态,如果是No,可以查看下面日志,分析处理
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 1453
              Relay_Log_Space: 2016
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
                  Master_UUID: 0f5421ba-0ede-11e8-b442-0242ac12000a
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)

3.3,开启Mysql服务的Docker容器列表

kevin@apple:~$ docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS                      PORTS                               NAMES
39e9a461040c        mysql:lastest       "docker-entrypoint..."   About an hour ago   Up About an hour            0.0.0.0:13308->3306/tcp             mysql_slave11
6d0e157edf33        mysql:lastest       "docker-entrypoint..."   7 hours ago         Up 7 hours                  0.0.0.0:13307->3307/tcp             mysql_slave
8cbf65b6d05a        mysql:lastest       "docker-entrypoint..."   7 hours ago         Up 7 hours                  0.0.0.0:13306->3306/tcp             mysql_master

4,测试

4.1,测试用例1

  • 在master中,创建数据表,增加2行数据,观察一级slave和二级slave的数据变化是否一致(结果一致)
mysql> CREATE TABLE test.`student` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(255) CHARACTER SET utf8 DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

mysql> Insert into test.student(name) values('aaa');
mysql> Insert into test.student(name) values('bbb');

mysql> Select * from test.student;

4.2,测试用例2

  • 在master中,删除1行数据,更新1行数据,观察一级slave和二级slave的数据变化(结果一致)
mysql> delete from test.student where id = 1;
mysql> update test.student set name = 'ccc' where id = 2;

4.3,测试用例3

  • 在master中,删除1个数据表,观察一级slave和二级slave的数据变化(结果一致)
mysql> drop table student;

4.4,测试用例4

  • 在master中,删除数据库test,或创建数据库test,观察一级slave和二级slave的数据变化(结果一致)
mysql> drop database test;
mysql> create database test;

5,参考

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容