定义
Redis Cluster 将数据分布到不同的节点当中,以解决Redis使用过程中的容量问题(单个Redis内存无法无限扩充),并发问题(官方称当个Redis可以使用10万并发),高可用问题(部分节点不可达能继续处理命令)。 Redis 集群常常和主从复制结合使用。
分布式数据库 - 数据分区
哈希分区
假如有1~100条数据,按照哈希函数(例如 hash(key)%3),把数据分区到不同的三个数据库
- 节点取余分区: hash(key) % nodes。若增加/减少节点,会进行大量数据迁移,例如当前有3个节点,增加了一个节点,按照新的hash(key) % 4进行计算时,很多数据需要进行移动。 建议进行 多倍扩容,例如当前有3个节点,可以扩容到6个节点,减少数据迁移量。节点取余也成为 不一致性哈希。比较适合缓存的场景
- 一致性哈希分区
能保证最小迁移数据,比较适合缓存的场景 - 一致性哈希分区 -
虚拟槽分区:Redis cluster采用此种分区方式,预设虚拟槽(slot),每个虚拟槽映射一个数据子集,每个节点管理一定数量的虚拟槽,redis 虚拟槽范围 0 ~ 16383。
使用分散函数(例如CRC16(keys) % slots )计算出 keys 属于哪个槽,再根据节点所管理的槽的范围,从而确定数据属于哪个节点(节点中共享信息,若一个虚拟槽不属于当前节点,会告诉虚拟操去哪个节点去存储)
顺序分区
假如有1 ~ 100条数据,按照顺序分区规则,可以把1 ~ 33,34 ~ 66,67 ~ 100分区到三个不同的三个数据库
方式对比
Cluster 架构
- 通过配置文件 cluster-enabled yes 将一个节点设置为一个集群节点
- 节点之间通过gossip协议进行通信,了解彼此的信息
- 将虚拟槽指派给上述节点
- 客户端通过 CRC16( key ) % 16383 并可知道对应的key应该到哪个虚拟槽的哪个节点进行处理
安装
配置集群节点
- cluster-enabled yes # 配置当前节点为集群节点
- cluster-config-file nodes-${port}.conf # 配置cluster节点自身配置文件
- cluster-node-timeout 15000 # 集群中各个节点相互通讯(ping)时,允许"失联"的最大毫秒数,如果超过这个时间没有得到响应,会认为该节点故障,若节点是主节点,则会进行故障转移
- cluster-require-full-coverage yes # 若配置为 yes,则当集群中有节点不可用时,整个集群都不能提供服务,通常设置为 no
通过meet把每个集群节点组合成集群 - 集群发现
-
cluster meet ip port #当前节点去发现新的集群节点
分配槽
- cluster addslots slot [slot…] # 为当前节点分配槽
# addslots.sh
# 开始槽
start=$1
# 结束槽
end=$2
# 分配端口
port=$3
for slot in `seq ${start} ${end}`
do
echo "slot:${slot}"
redis-cli -p ${port} cluster addslots ${slot}
done
# 分配操作
sh addslots 0 5461 7000
sh addslots 5462 10923 7001
sh addslots 10923 16383 7002
在第二步中配置了6个集群节点,但是只为7000 ~ 7002分配槽,7000 ~ 7002作为master,其余作为slave节点
配置主从关系
- cluster replicate node-id # 对 node-id节点进行复制,node-id在集群启动时会进行分配。
-
cluster nodes # 查看node-id
Ruby配置集群 -除了上述安装方式,官方提供了脚本进行快速集群配置
扩展
- Gossip 协议:所有节点都保存了一份元数据,当节点发生伸缩或更新时,会将最新的元数据信息传播给所有节点。 - gossip协议
Redis 使用Gossip协议时采用了meet,ping,pong,fail消息进行通信
参考链接
[1] https://blog.csdn.net/makyan/article/details/104798725
[2] https://www.jianshu.com/p/8279d6fd65bb
[3] https://coding.imooc.com/class/151.html