黑猴子的家:Redis 集群搭建

1、安装ruby,准备环境

redis cluster 集群搭建,要比使用中间件,简单的多,因为redis非常暖心的给我们准备ruby脚本,只要你把集群的环境搭建好了,组合这个集群你不用自己去敲,如果你自己去敲这些复杂的领命,可能特别麻烦,redis呢? 做了一个ruby脚本,你只要能执行这个ruby脚本, redis会自动把这个集群连接起来,但是问题是,你的先有这个执行ruby脚本的环境,默认是没有ruby环境的,需要我们来安装一下

(1)查看 yum源 是否有 ruby ,
考虑兼容问题,尽量从本地CentoS 镜像文件里面装。

[root@hadoop102 ~]# yum list | grep ruby

(2)执行安装包
依次执行在安装光盘下的Package目录(/media/CentOS_6.8_Final/Packages)下的rpm包

[root@hadoop102 Packages]# cd /media/CentOS_6.8/Packages/
[root@hadoop102 Packages]# pwd
/media/CentOS_6.8/Packages
[root@hadoop102 Packages]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm
[root@hadoop102 Packages]# rpm -ivh ruby-libs-1.8.7.374-4.el6_6.x86_64.rpm
[root@hadoop102 Packages]# rpm -ivh ruby-1.8.7.374-4.el6_6.x86_64.rpm
[root@hadoop102 Packages]# rpm -ivh ruby-irb-1.8.7.374-4.el6_6.x86_64.rpm
[root@hadoop102 Packages]# rpm -ivh ruby-rdoc-1.8.7.374-4.el6_6.x86_64.rpm
[root@hadoop102 Packages]# rpm -ivh rubygems-1.3.7-5.el6.noarch.rpm

(3)如果光盘需要挂载,查看下面连接
https://www.cnblogs.com/heihouzi/p/8662719.html

(4)拷贝redis-3.2.0.gem到/opt目录下
ruby本身不具备操作redis,我们可以在ruby中添加redis插件,这样就可以使ruby操作redis了
redis-3.2.0.gem 百度下载一个即可

(5)在ruby中安装redis插件

[root@hadoop102 opt]# gem install --local redis-3.2.0.gem

2、ruby环境准备好了,我们来看一下redis集群搭建步骤

(1)制作6个实例,6379,6380,6381,6389,6390,6391
(2)拷贝多个redis.conf文件
(3) 开启daemonize yes
(4)Pid文件名字
(5)指定端口
(6)Log文件名字
(7)Dump.rdb名字
(8)Appendonly 关掉或者换名字

3、配置 redis cluster 集群文件

(1)redis6379.conf

[root@hadoop102 redis-3.2.5]# vim redis6379.conf
include /myredis/redis.conf
port 6379
pidfile /var/run/redis_6379.pid
dbfilename dump6379.rdb
cluster-enabled yes
cluster-config-file  nodes-6379.conf
cluster-node-timeout 15000

(2)创建80、81、89、90、91

[root@hadoop102 redis-3.2.5]# cp redis6379.conf redis6380.conf
[root@hadoop102 redis-3.2.5]# cp redis6379.conf redis6381.conf
[root@hadoop102 redis-3.2.5]# cp redis6379.conf redis6389.conf
[root@hadoop102 redis-3.2.5]# cp redis6379.conf redis6390.conf
[root@hadoop102 redis-3.2.5]# cp redis6379.conf redis6391.conf

(3)修改80、81、89、90、91 配置文件

[root@hadoop102 redis-3.2.5]# vim redis6380.conf
:%s/6379/6380

[root@hadoop102 redis-3.2.5]# vim redis6381.conf
:%s/6379/6381

[root@hadoop102 redis-3.2.5]# vim redis6389.conf
:%s/6379/6389

[root@hadoop102 redis-3.2.5]# vim redis6390.conf
:%s/6379/6390

[root@hadoop102 redis-3.2.5]# vim redis6391.conf
:%s/6379/6391

(4)Redis 集群模式,新增的配置

cluster-enabled yes 打开集群模式

cluster-config-file nodes-6379.conf 设定节点配置文件名

cluster-node-timeout 15000 设定节点失联时间,超过该时间(毫秒),集群自动进行主从切换

4、删除 RDB 和 AOF 文件

[root@hadoop102 redis-3.2.5]# rm -rf dump.rdb
[root@hadoop102 redis-3.2.5]# rm -rf appendonly.aof

5、查看redis进程并启动redis

[root@hadoop102 redis-3.2.5]# ps -ef | grep redis

[root@hadoop102 redis-3.2.5]# redis-server redis6379.conf
[root@hadoop102 redis-3.2.5]# redis-server redis6380.conf
[root@hadoop102 redis-3.2.5]# redis-server redis6381.conf
[root@hadoop102 redis-3.2.5]# redis-server redis6389.conf
[root@hadoop102 redis-3.2.5]# redis-server redis6390.conf
[root@hadoop102 redis-3.2.5]# redis-server redis6391.conf

[root@hadoop102 redis-3.2.5]# ps -ef | grep redis  

6、运行ruby脚本,将六个节点,进行合体

[root@hadoop102 ~]# cd /opt/module/redis-3.2.5/src
[root@hadoop102 src]# ./redis-trib.rb create --replicas 1 \
192.168.31.211:6379 \
192.168.31.211:6380 \
192.168.31.211:6381 \
192.168.31.211:6389 \
192.168.31.211:6390 \
192.168.31.211:6391

yes

[ok] ALL 16384 slots covered

此处不要用127.0.0.1, 请用真实IP地址

7、查看集群节点状态

[root@hadoop102 redis]# redis-cli
127.0.0.1:6379> cluster nodes

8、redis cluster 如何分配这六个节点?

(1)一个集群至少要有三个主节点

(2)选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点

(3)分配原则尽量保证每个主数据库运行在不同的IP地址,每个从库和主库不在一个IP地址上

9、什么是 slots ?

一个 Redis 集群包含 16384 个插槽(hash slot)
数据库中的每个键都属于这 16384 个插槽的其中一个, 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

集群中的每个节点负责处理一部分插槽,槽主要左右是均衡分布数据,类似于hbase的预分区,hash分布
举个例子, 如果一个集群可以有主节点, 其中:
节点 A 负责处理 0 号至 5500 号插槽。
节点 B 负责处理 5501 号至 11000 号插槽。
节点 C 负责处理 11001 号至 16383 号插槽。

10、redis集群登录方式

[root@hadoop102 redis]# redis-cli -c
127.0.0.1:6379> set k1 v1
-> Redirected to slot [12706] located at 192.168.67.143:6381
ok

127.0.0.1:6379> get k1
"v1"

11、在集群中录入值

(1)在redis-cli每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。

(2)redis-cli客户端提供了 -c 参数实现自动重定向。
如 redis-cli -c -p 6379 登入后,再录入、查询键值对可以自动重定向。

集群客户端登录方式

[root@hadoop102 myredis]# redis-cli -c
127.0.0.1:6379> set k1 v1
-> Redirected to slot [12706] located at 192.168.67.143:6381
ok
127.0.0.1:6379> get k1
"v1"

(3)不在一个slot下的键值,是不能使用mget,mset等多键操作

192.168.67.143:6381> mset k1 v1 k2 v2 k3 v3
(error) CROSSSLOT Keys in request don't hash to the same slot

注:mset,mget 具有原子性不可切割,当时操作的键值 可能不在一个槽里面,所以失败

(4)可以通过{}来定义组的概念,从而使key中{}内相同内容的键值对放到一个slot中去

192.168.67.143:6381> mset k1{user} v1 k2{user} v2  k3{user} v3
-> Redirected to slot [5474] located at 192.168.67.143:6380
ok

192.168.67.143:6380> set user v100
ok

192.168.67.143:6380>   

注:通过{} 的内容取模,使其放到一个槽里面,使用时,只需要重新规划键值

12、查询集群中的值

(1)CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上

192.168.67.143:6380> cluster keyslot user
(integer) 5474

192.168.67.143:6380> cluster keyslot abc{user}
(integer) 5474

注:查看key 在 那个槽的范围内

(2)CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量

192.168.67.143:6380> cluster countkeysinslot 5474
(integer) 4

注:查看5474 这个槽里面有多少个键值数量

(3)CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键

192.168.67.143:6380> cluster getkeysinslot 5474 10
(integer) 5474
1) "k1{user}"
2) "k2{user}"
3) "k3{user}"
4) "k4{user}"
5) "user"

注: 获取5474 这个槽 10个键

13、故障恢复

(1)制造 redis 集群一台master节点 宕机

[root@hadoop102 myredis]# redis-cli -c -p 6379
192.168.67.143:6379> cluster nodes
//登录主节点,shutdown
192.168.67.143:6379> shutdown

(2)登录redis集群其他节点,查看集群状态

[root@hadoop102 myredis]# redis-cli -c -p 6380
//失联15秒, 发现从机变成主机了
192.168.67.143:6380> cluster nodes

(3)死掉的主机又活 过来了

[root@hadoop102 redis-3.2.5]# redis-server redis6379.conf
[root@hadoop102 myredis]# redis-cli -c -p 6379
//发现死灰复燃的主机,活过来变成了从机
192.168.67.143:6379> cluster nodes

(4)如果主节点下限?从节点能否自动升为主节点?

能,在没有哨兵的情况下也是可以的

(5)主节点恢复后,主从关系会如何?

主从颠倒,主节点恢复后,变从节点

(6)如果所有某一段插槽的主从节点都当掉,redis服务是否还能继续?

看redis.conf配置文件中的参数设置
cluster-require-full-coverage 为yes ,集群下线
no就先凑合用,会有数据丢失

[root@hadoop102 redis]# vim redis.conf
cluster-require-full-coverage yes

这里主要看业务,数据的重要性, 特别重要,设置为yes

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容