【分布式缓存-分布式篇】Redis Cluster 模式

        一、Redis Cluster 简介

        Redis3.0之后,节点之间通过去中心化的方式提供了完整的sharding(分片)、replication(复制)、failover解决方案,称为 Redis Cluster。

        二、拓扑结构

Redis Cluster 结构

        一个Redis Cluster由多个节点组构成。不同节点组服务的数据无交集,即每一个节点组对应数据sharding的一个分片,如节点A和节点B;A和A1作为主备关系,构成一个节点组,两者数据准实时一致,通过异步化的准备复制机制保证,一个节点组有且只有一个master节点,但可以有0到多个slave节点,只有master节点对用户提供写服务,至于读服务主备节点都可以做。

        上图中有5个节点,它们之间通过Redis Cluster Bus 进行交互,交换以下信息:

        1  数据分片(slot)和节点的对应关系;

        2  集群中每个节点可用状态;

        3  集群结构(配置)发生变更时,通过gossip协议对配置信息达成一致。(数据分片的迁移、故障发生时的主备切换决策、单点master的发现和其他发生主备关系的变更等场景均会导致集群结构变化)

        4  publish / subscribe (发布/订阅)功能在cluster版的内部实现所需要交互的信息。

        通过拓扑结构可以发现,Redis Cluster 是一个去中心化的分布式实现方案,客户端可以和集群中的任意节点连接,然后通过gossip的特性,逐渐获知全集群的数据分片映射关系。

        小知识:Redis Cluster Bus通过单独的端口进行连接,由于bus是节点间的内部通信机制,交互的是字节序列化信息,而不是client请求Redis服务器的字符序列化信息,这样做的目的是提升传输效率。

        三、配置的一致性

        对于一个去中心化的实现,各自为政的节点如何就集群的拓扑结构达成一致,是 Redis Cluster 配置机制解决的问题。下面介绍配置信息数据结构、交互信息结构,以及如何实现配置信息一致。

        1  配置信息数据结构


Redis Cluster 的配置 数据结构

        Cluster State 记录了以集群中某个节点的视角,所看到的集群配置状态,其中:

        currentEpoch 表示集群中的最大版本号,集群信息每变更一次,该版本号都会自增以保证每个信息的版本号是唯一的;

        nodes 是一个列表,包含了本节点所感知到的集群中所有节点的信息(Cluster Node),当然也包含本节点自身;

        当集群的数据分片发生变更,例如分片在节点组之间迁移的时候,Redis Cluster仍然保持着对外服务,在迁移的过程中,通过“数据分片相关状态”的一组变量来管控迁移过程。;

        当集群中某个master出现宕机时,Redis Cluster会自动发现并触发故障转移操作,将宕机master的某个slave升级为新的master,这个过程中同样包含“failover相关状态”的一组变量来控制故障转移的一系列过程。

        Cluster Node 记录了每个节点的信息,其中比较关键的是该信息的版本epoch,该结构主要描述了:该节点对应的数据分片(slot)、当该节点为master时的slave节点列表 以及 该及诶单为slave时对应的master节点,每个节点包含一个全局唯一的NodeId。

        从上图空间,每个节点都保存了从它的视角所看到的集群结构,该结构描述了数据的分片方式、节点主备关系,并通过epoch作为版本号实现集群结构信息的一致性,同时也控制着数据迁移和故障转移的过程。

        2  信息交互

        因为去中心化的架构下不存在统一的配置中心,所以各个节点对整个集群状态的认知来自于节点间的信息交互,这个交互是通过之前提到过的Redis Cluster Bus来完成的,在Bus上交互的信息结构如下图所示:

节点交互信息数据结构

        ClusterMsg的type字段指明了消息的类型,配置信息达成最终一致性主要依靠PING和PONG两种类型的msg,两者除了type不同之外,其余字段语义信息一致,其消息体即上图所示的gossip数据。

        每一个节点向其它所有节点较为频繁地周期性发送PING消息,同时接收到对应的PONG回应。在这些消息的gossip部分,包含了发送者节点(或响应节点)所知的集群其它节点信息。接收节点根据这些gossip信息更新自己对于集群结构的认识。Redis Cluster每次PING / PONG包中,只包含全集群的部分节点信息,节点随机选取,以此控制网络流量。由于交互较为频繁,在很短时间内交互几次之后,集群状态以Gossip协议的方式被扩散到了集群中的所有节点。

        3  一致性的达成

        当集群结构不发生变化的时候,通过gossip机制可以很快辐射到集群中的所有节点,并且达到最终一致状态。但是,故障转移、分片迁移等场景也会导致集群结构变更,变更的信息需要各个节点自行协调,优先得知结构变更的节点通过epoch变量将自己的最新信息扩散到整个集群,达到最终一致。需要注意的是:

        配置信息Cluster Node的epoch属性描述的粒度是单个节点,即某个节点的数据分片、主备信息版本;

        配置信息的Cluster State的currentEpoch属性的粒度是整个集群,它的存在用来辅助epoch自增的生成,由于currentEpoch信息也是维护在各个节点自身,所以集群结构发生变化时,通过一定的时间窗口控制和更新规则来保证每个节点看到的currentEpoch都是最新的。

        集群信息的更新遵循以下规则:

        当A节点率先知道了集群结构变更,这个节点将currentEpoch自增,这时候A的currentEpoch就成为了集群中的最大值,在用自增厚的currentEpoch作为新的epoch版本;

        当B节点收到了比自己大的currentEpoch时,B会更新自己节点的currentEpoch值以保持最新;

        当收到Redis Cluster Bus消息中某个节点信息的epoch值大于接收者自己内部配置信息存储的值时,意味着自己的信息太旧了,此时会将自己的映射信息更新为消息的内容;

        当收到Redis Cluster Bus消息中某个节点信息未包含在接收节点的内部配置信息时,意味着接收者尚未意识到消息所指节点的存在,此时接收者直接将消息的信息添加到自己的内部配置信息中。

        上述规则保证了信息更新始终是单向的,始终朝着epoch值更大的信息收敛,同时epoch值也随着每次集群配置变更时currentEpoch的自增而单向增加,确定了各节点信息更新的方向稳定。

        

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,056评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,842评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,938评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,296评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,292评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,413评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,824评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,493评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,686评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,502评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,553评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,281评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,820评论 3 305
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,873评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,109评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,699评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,257评论 2 341

推荐阅读更多精彩内容