Redis三种集群方式

Redis有三种集群方式:主从复制,哨兵模式和集群。

一、主从复制

用户可以通过 SLAVEOF 命令或者配置,让一个服务器去复制另一个服务器即成为它的从服务器。

Redis的从服务器在向主服务器发起同步时,一般会使用 SYNC 或 PSYNC 命令。

初次同步

当从服务器收到 SLAVEOF 命令后,会向其主服务器执行同步操作,进入主从复制流程。

  1. 从服务器向主服务器发起SYNC 或 PSYNC 命令
  2. 主服务器执行 BGSAVE命令,生成RDB文件,并使用缓存区记录从现在开始的所有写命令
  3. RDB文件生成完成后,主服务器会将其发送给从服务器
  4. 从服务器载入RDB文件,将自己的数据库状态同步更新为主服务器执行 BGSAVE命令时的状态。
  5. 主服务器将缓冲区的所有写命令发送给从服务器,从服务将执行这些写命令,数据库状态同步为主服务器最新状态。

SYNC 与 PSYNC的区别

当主从同步完成后,如果此时从服务器宕机了一段时间,重新上线后势必要重新同步一下主服务器,SYNC与 PSYNC命令的区别就在于断线后重复制阶段处理的方式不同。

SYNC
从服务器重新向主服务器发起 SYNC命令,主服务器将所有数据再次重新生成RDB快照发给从服务器开始同步。

PSYNC
从服务器重新向主服务器发起 PSYNC命令。主服务器根据双方数据的偏差量判断是否是需要完整重同步还是仅将断线期间执行过的写命令发给从服务器。

明显可以发先PSYNC相比SYNC效率好很多,要知道同步所有数据是一个非常费资源(磁盘IO,网络)的操作,而如果只是因为短暂网络不稳定就同步所有资源是非常不值的。因此Redis在2.8版本后都开始使用PSYNC进行复制。

PSYNC如何实现部分重同步?

实现部分重同步主要靠三部分

1. 记录复制偏移量
主服务器与从服务器都会维护一个复制偏移量。

当主服务器向从服务器发送N个字节的数据后,会将自己的复制偏移量+N。
当从服务器收到主服务器N个字节大小数据后,也会将自己的复制偏移量+N。
当主从双方数据是同步时,这个偏移量是相等的。而一旦有个从服务器断线一段时间而少收到了部分数据。那么此时主从双方的服务器偏移量是不相等的,而他们的差值就是少传输的字节数量。如果少传输的数据量不是很大,没有超过主服务器的复制积压缓冲区大小,那么将会直接将缓冲区内容发送给从服务器避免完全重同步。反之还是需要完全重同步的。

2. 复制积压缓冲区
复制积压缓冲区是由主服务器维护的一个先进先出的字节队列,默认大小是1mb。每当向从服务器发送写命令时,都会将这些数据存入这个队列。每个字节都会记录自己的复制偏移量。从服务器在重连时会将自己的复制偏移量发送给主服务器,如果该复制偏移量之后的数据存在于复制积压缓冲区中,则仅需要将之后的数据发送给从服务器即可。

3. 记录服务器ID
当执行主从同步时,主服务器会将自己的服务器ID(一般是自动生成的UUID)发送给从服务器。从服务器在断线恢复后会判断该ID是否为当前连接的主服务器。如果是同一个ID则代表主服务器没变尝试部分重同步。如果不是同一个ID代表主服务有变动,则会与主服务器完全重同步。

Redis哨兵模式(Sentinel)

哨兵模式引入了一个Sentinel系统去监视主服务器及其所属的所有从服务器。一旦发现有主服务器宕机后,会自动选举其中的一个从服务器升级为新主服务器以达到故障转移的目的。
同样的Sentinel系统也需要达到高可用,所以一般也是集群,互相之间也会监控。

实现原理

1.Sentinel与主从服务器建立连接

  • Sentinel服务器启动之后便会创建于主服务器的命令连接,并订阅主服务器的sentinel:hello频道以创建订阅连接
  • Sentinel默认会每10秒向主服务器发送 INFO 命令,主服务器则会返回主服务器本身的信息,以及其所有从服务器的信息。
  • 根据返回的信息,Sentinel服务器如果发现有新的从服务器上线后也会像连接主服务器时一样,向从服务器同时创建命令连接与订阅连接。

2.判定主服务器是否下线
每一个Sentinel服务器每秒会向其连接的所有实例包括主服务器,从服务器,其他Sentinel服务器)发送 PING命令,根据是否回复 PONG 命令来判断实例是否下线。

判定主观下线
如果实例在收到 PING命令的down-after-milliseconds毫秒内(根据配置),未有有效回复。则该实例将会被发起 PING命令的Sentinel认定为主观下线。

判定客观下线
当一台主服务器没某个Sentinel服务器判定为客观下线时,为了确保该主服务器是真的下线,Sentinel会向Sentinel集群中的其他的服务器确认,如果判定主服务器下线的Sentinel服务器达到一定数量时(一般是N/2+1),那么该主服务器将会被判定为客观下线,需要进行故障转移。

3.选举领头Sentinel
当有主服务器被判定客观下线后,Sentinel集群会选举出一个领头Sentinel服务器来对下线的主服务器进行故障转移操作。整个选举其实是基于RAFT一致性算法而实现的,大致的思路如下:
每个发现主服务器下线的Sentinel都会要求其他Sentinel将自己设置为局部领头Sentinel。
接收到的Sentinel可以同意或者拒绝
如果有一个Sentinel得到了半数以上Sentinel的支持则在此次选举中成为领头Sentinel。
如果给定时间内没有选举出领头Sentinel,那么会再一段时间后重新开始选举,直到选举出领头Sentinel。

4.选举新的主服务器
领头服务器会从从服务中挑选出一个最合适的作为新的主服务器。挑选的规则是:

  • 选择健康状态的从节点,排除掉断线的,最近没有回复过 INFO命令的从服务器。
  • 选择优先级配置高的从服务器
  • 选择复制偏移量大的服务器(表示数据最全)
    挑选出新的主服务器后,领头服务器将会向新主服务器发送 SLAVEOF no one命令将他真正升级为主服务器,并且修改其他从服务器的复制目标,将旧的主服务器设为从服务器,以此来达到故障转移。

Redis Cluster

Redis哨兵模式实现了高可用,读写分离,但是其主节点仍然只有一个,即写入操作都是在主节点中,这也成为了性能的瓶颈。
一个Redis集群中会由多个节点组成,每个节点都是互相连接的,会保存自己与其他节点的信息。节点之间通过gossip协议交换互相的状态,以及保新加入的节点信息。

Redis Cluster的整个数据库将会被分为16384个哈希槽,数据库中的每个键都属于这16384个槽中的其中一个,集群中的每个节点可以处0个或者最多16384个槽。

通过命令 CLUSTER ADDSLOTS <slot> [slot...] 命令我们可以将一个或多个槽指派给某个节点。

如 127.0.0.1:7777> CLUSTER ADDSLOTS 1 2 3 4 5 命令就是将1,2,3,4,5号插槽指派给本地端口号为7777的节点负责。

设置后节点将会将槽指派的信息发送给其他集群,让其他集群更新信息。

计算键属于哪个槽
def slot_number(key):
return CRC16(key) & 16383

计算哈希槽位置其实使用的是CRC16算法对键值进行计算后再对16383取模得到最终所属插槽。

也可以使用 CLUSTER KEYSLOT <key> 进行查看。

如何实现故障转移
其实与哨兵模式类似,Redis的每个节点都会定期向其他节点发送Ping消息,以此来检测对方是否在线。当一个节点检测到另一个节点下线后,会将其设置为疑似下线。如果一个机器中,有半数以上的节点将某个主节点设为疑似下线,则该节点将会被标记为已下线状态,并开始执行故障转移。

  • 通过raft算法从下线主节点的从节点中选出新的主节点
  • 被选中的从节点执行 SLAVEOF no one 命令,成为新的主节点
  • 新的主节点撤销掉已下线主节点的槽指派,并将这些槽指给自己
  • 新的主节点向集群中广播自己由从节点变为主节点
  • 新的主节点开始接受和负责自己处理槽的有关命令请求

总结

  • 主从模式 可以实现读写分离,数据备份。但是并不是「高可用」的
  • 哨兵模式 可以看做是主从模式的「高可用」版本,其引入了Sentinel对整个Redis服务集群进行监控。但是由于只有一个主节点,因此仍然有写入瓶颈。
  • Cluster模式 不仅提供了高可用的手段,同时数据是分片保存在各个节点中的,可以支持高并发的写入与读取。当然实现也是其中最复杂的。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,271评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,725评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,252评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,634评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,549评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,985评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,471评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,128评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,257评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,233评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,235评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,940评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,528评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,623评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,858评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,245评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,790评论 2 339

推荐阅读更多精彩内容