day7 redis

关系型和非关系型

关系型数据库： mysql oracle pg
非关系型数据库：redis mongo es

NoSQL  not only sql
NoSQL，指的是⾮关系型的数据库
NoSQL有时也称作Not Only SQL的缩写是对不同于传统的关系型数据库的数据库管理系统的统称
对NoSQL最普遍的解释是”⾮关联型的”，强调Key-Value Stores和⽂档数据库的优点，⽽不是单
纯的RDBMS
NoSQL⽤于超⼤规模数据的存储
这些类型的数据存储不需要固定的模式，⽆需多余操作就可以横向扩展
今天我们可以通过第三⽅平台可以很容易的访问和抓取数据
⽤户的个⼈信息，社交⽹络，地理位置，⽤户⽣成的数据和⽤户操作⽇志已经成倍的增加
我们如果要对这些⽤户数据进⾏挖掘，那SQL数据库已经不适合这些应⽤了
NoSQL数据库的发展也却能很好的处理这些⼤的数据

Redis重要特性

1.速度快 
c语⾔编写的
代码优雅简洁
单线程架构
2.⽀持多种数据结构
字符串，哈希，列表，集合，有序集合
3.丰富的功能
天然计数器
键过期功能
消息队列
4.⽀持客户端语⾔多
php,java,go,python
5.⽀持数据持久化
所有在运⾏的数据都是放在内存⾥的
⽀持多种数据久化格式，RDB，AOF，混合持久化
6.⾃带多种⾼可⽤架构
主从，哨兵，集群

Redis应⽤场景

1.缓存-键过期
把session数据缓存在redis⾥，过期删除
换⽤⽤户信息，缓存mysql部分的数据，⽤户先访问redis,如果redis没命中，在访问mysql,然后回写给redis
商城优惠卷过期
短信验证码过期
2.排⾏榜-列表&有序集合
热度/点击量
直播间礼物打赏排⾏榜
3.计数器-天然计数器
帖⼦浏览数
视频播放次数
评论次数
点赞/点踩
4.社交⽹络-集合
粉丝
共同好友/可能认识的⼈
兴趣爱好/标签
检查⽤户注册名是否已经被注册
5.消息队列-列表
ELK缓存⽇志
聊天记录

Redis的安装部署

1.Redis官⽹

https://redis.io/download

2.版本选择

2.x ⾮常⽼
3.x 主流 redis-cluster
4.x 混合持久化
5.x 最新稳定版 新增加了流处理类型

3.规划⽬录

/data/soft 下载⽬录
/opt/redis_6379/{conf,logs,pid} 安装⽬录，⽇志⽬录，pid⽬录，配置⽬录
/data/redis_6379/ 数据⽬录

4.安装命令

mkdir /data/soft -p
cd /data/soft/
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar zxf redis-5.0.7.tar.gz -C /opt/
cd /opt
ln -s /opt/redis-5.0.7 /opt/redis
cd /opt/redis
make
make install


make和make install功能
菜 ⼆进制命令
./config 洗菜和切菜
make 炒菜
make install 装盘

5.编写配置⽂件

mkdir -p /opt/redis_6379/{conf,logs,pid}
mkdir -p /data/redis_6379
cat >/opt/redis_6379/conf/redis_6379.conf<<EOF
daemonize yes
bind 127.0.0.1 10.0.0.51
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log

6.启动命令

redis-server /opt/redis_6379/conf/redis_6379.conf

7.检查

ps -ef|grep redis
netstat -lntup|grep 6379

8.连接redis

[root@db01 ~]# redis-cli
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"
127.0.0.1:6379>

9.关闭命令
第⼀种：

[root@db01 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN

第⼆种：

[root@db01 ~]# redis-cli shutdown

第三种：

kill
pkill

10.system启动配置

redis-cli shutdown
groupadd redis -g 1000
useradd redis -u 1000 -g 1000 -M -s /sbin/nologin
chown -R redis:redis /opt/redis*
chown -R redis:redis /data/redis*

cat >/usr/lib/systemd/system/redis.service<<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
ExecStart=/usr/local/bin/redis-server /opt/redis_6379/conf/redis_6379.conf
--supervised systemd
ExecStop=/usr/local/bin/redis-cli shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start redis

11.优化警告
警告1：maximum open files过低

17068:M 23 Jun 2020 10:23:55.707 # You requested maxclients of 10000
requiring at least 10032 max file descriptors.
17068:M 23 Jun 2020 10:23:55.707 # Server can't set maximum open files to
10032 because of OS error: Operation not permitted.
17068:M 23 Jun 2020 10:23:55.707 # Current maximum open files is 4096.
maxclients has been reduced to 4064 to compensate for low ulimit. If you
need higher maxclients increase 'ulimit -n'

解决：systemd启动⽂件添加参数

vim /usr/lib/systemd/system/redis.service
[Service]
..............
LimitNOFILE=65536

警告2: overcommit_memory设置 虚拟内存相关
17068:M 23 Jun 2020 10:23:55.707 # WARNING overcommit_memory is set to 0!
Background save may fail under low memory condition. To fix this issue add
'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the
command 'sysctl vm.overcommit_memory=1' for this to take effect.

解决：

sysctl vm.overcommit_memory=1

警告3: 关闭THP⼤内存⻚

17068:M 23 Jun 2020 10:23:55.707 # WARNING you have Transparent Huge Pages
(THP) support enabled in your kernel. This will create latency and memory
usage issues with Redis. To fix this issue run the command 'echo never >
/sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your
/etc/rc.local in order to retain the setting after a reboot. Redis must be
restarted after THP is disabled.
17068:M 23 Jun 2020 10:23:55.707 * Ready to accept connections

解决：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

警告4:

34685:M 23 Jun 2020 10:47:00.901 # WARNING: The TCP backlog setting of 511
cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower
value of 128.

解决：

echo "511" > /proc/sys/net/core/somaxconn
sysctl net.core.somaxconn=4096
huo
sysctl net.core.somaxconn=1024

Redis全局命令

1.Redis数据格式

key:value
键:值

2.写⼊测试命令

set k1 v1
set k2 v2
set k3 v3

3.查看所有的key-注意！！！此操作未满28岁，请在⽗⺟陪同下操
作！！！线上⽣产禁⽌执⾏！！！

keys *

4.查看有多少个key

DBSIZE

5.查看某个key是否存在

EXISTS k1
状态码：
0: 表示这个key不存在
1: 表示这个key存在
N: 表示有N个key存在

6.删除KEY

DEL k1
DEL k1 k2
状态码：
0: 要删除的KEY不存在
1: 表示这个key存在，并且被删除成功了
N: 表示N个key存在，并且被删除成功了N个

7.键过期
设置过期时间

EXPIRE k1 10
状态码：
0：这个key不存在
1：这个key存在，并且设置过期时间成功

字符串操作

1.设置⼀个key

set k1 v1
set k1 v1 EX 10

2.查看⼀个key

get k1

3.设置多个key

MSET k1 v1 k2 v2 k3 v3

4.查看多个key

MGET k1 k2 k3

5.天然计数器

加1:
SET k1 1
INCR k1
GET k1
加N：
INCRBY k1 100
减1:
DECR k1
INCRBY k1 -1
减N：
DECRBY k1 N
INCRBY k1 -N

列表操作

1.插⼊列表

从左边压⼊数据：
LPUSH list1 A
从右边压⼊数据：
RPUSH list1 D

2.查看列表⻓度

LLEN list1

3.查看列表内容

LRANGE list1 0 -1

4.删除列表元素

RPOP list1
LPOP list1

5.删除整个列表

DEL list1

HASH操作

1.mysql数据格式如何缓存到redis

mysql数据格式：
user表
id name job age
1 boss it 18
2 wei it 24
3 cookz it 30
hash类型存储格式：
key field1 value field2 value field3 value
user:1 name boss job it age 18
user:2 name wei job it age 18
user:3 name cookz job it age 18

2.创建⼀个HASH数据

HMSET user:1 name boss job it age 18
HMSET user:2 name wei job it age 24
HMSET user:3 name cooz job it age 30

3.查看hash⾥的指定字段的值

select name from user where id = 1 ;
HMGET user:1 name
HMGET user:1 name job age

4.查看hash⾥的所有字段的值

select * from user where id = 1 ;
HGETALL user:1

集合操作

1.创建集合

SADD set1 1 2 3
SADD set2 1 3 5 7

2.查看集合成员

SMEMBERS set1

3.查看集合的交集

127.0.0.1:6379> SINTER set1 set2
1) "1"
2) "3"
127.0.0.1:6379> SINTER set2 set1
1) "1"
2) "3"

4.查看集合的差集

127.0.0.1:6379> SMEMBERS set1
1) "1"
2) "2"
3) "3"
127.0.0.1:6379> SMEMBERS set2
1) "1"
2) "3"
3) "5"
4) "7"
127.0.0.1:6379> SDIFF set1 set2
1) "2"
127.0.0.1:6379> SDIFF set2 set1
1) "5"
2) "7"

5.查看集合的并集

127.0.0.1:6379> SUNION set1 set2
1) "1"
2) "2"
3) "3"
4) "5"
5) "7"

有序集合

1.添加有序集合

ZADD bj69 100 wang
ZADD bj69 10 bao
ZADD bj69 99 meng

2.计算成员个数

ZCARD bj69

3.计算某个成员分数

ZSCORE bj69 wang

4.按照升序查看成员名次

ZRANK bj69 meng

5.按照降序查看成员名次

ZREVRANK bj67 wei

6.删除成员

ZREM bj67 cookzhang

7.返回指定排名范围的成员

127.0.0.1:6379> ZRANGE bj67 0 -1
1) "cookzhang"
2) "cookz"
3) "zcook"
4) "jun"
5) "wei"
127.0.0.1:6379> ZRANGE bj67 0 -1 WITHSCORES
1) "cookzhang"
2) "10"
3) "cookz"
4) "20"
5) "zcook"
6) "30"
7) "jun"
8) "99"
9) "wei"
10) "100"
127.0.0.1:6379> ZRANGE bj67 1 3
1) "cookz"
2) "zcook"
3) "jun"

8.返回指定分数范围的成员

127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100
1) "jun"
2) "wei"
127.0.0.1:6379> ZRANGEBYSCORE bj67 50 100 WITHSCORES
1) "jun"
2) "99"
3) "wei"
4) "100"

9.增加成员分数

ZINCRBY bj67 50 wei

持久化

1.RDB持久化和AOF持久化

RDB: 类似于快照，当前内存⾥的数据的状态持久化到硬盘
优点：压缩格式/恢复速度快
缺点：不是实时的，可能会丢数据，操作⽐较重量
AOF:类似于mysql的binlog，可以设置成每秒/每次操作都以追加的形式保存在⽇志⽂件中
优点：安全，最多只损失1秒的数据，具备⼀定的可读性
缺点：⽂件⽐较⼤，恢复速度慢

2.RDB持久化流程图


image.png

3.配置RDB持久化

save 900 1
save 300 10
save 60 10000
dbfilename redis.rdb
dir /data/redis_6379/

4.RDB持久化结论：

没配置save参数时：
1.shutdown/pkill/kill都不会持久化保存
2.可以⼿动执⾏bgsave
配置save参数时：
1.shutdown/pkill/kill均会⾃动触发bgsave持久化保存数据
2.pkill -9 不会触发持久化
恢复时：
1.持久化数据⽂件名要和配置⽂件⾥定义的⼀样才能被识别
2.RDB⽂件只有⼀个数据⽂件，迁移和备份只要这⼀个RDB⽂件即可
注意：
RDB⾼版本兼容低版本，低版本不能兼容⾼版本
3.x >> 5.X >> OK
5.x >> 3.x >> NoOK

4.AOF流程图


image.png

5.AOF持久化配置

appendonly yes
appendfilename "redis.aof"
appendfsync everysec

6.AOF重写机制

执⾏的命令 aof记录 redis⾥的数据
set k1 v1 set k1 k1
set k2 v2 set k1 k1 k2
set k2
set k3 v3 set k1 k1 k2 k3
set k2
set k3
del k1 set k1 k2 k3
set k2
set k3
del k1
del k2 set k1 k3
set k2
set k3
del k1
del k2
aof⽂件⾥实际有意义的只有⼀条记录：
set k3

7.AOF和RDB读取实验
实验背景：aof和rdb同时存在，redis重启会读取哪⼀个数据？
实验步骤：

set k1 v1
set k2 v2
bgsave rbd保存 k1 k2
mv redis.rdb /opt/
flushall
set k3 v3
set k4 v4 aof保存 k3 k4
mv redis.aof /opt/
redis-cli shutdown
rm -rf /data/redis_6379/*
mv /opt/redis.aof /data/redis_6379/
mv /opt/redis.rdb /data/redis_6379/
systemctl start redis

实验结论：当aof和rdb同时存在的时候，redis会优先读取aof的内容
8.AOF模拟故障
损坏实验结论：
1.aof修复命令不要⽤，因为他的修复⽅案⾮常粗暴，⼀⼑切，从出错的地⽅到最后全部删除
2.任何操作之前，先备份数据

kill -9 实验:
for i in {1..10000};do redis-cli set key_{i} v_{i} && echo "{i} is ok";done ps -ef|grep redis|grep -v grep|awk '{print "kill -9",2}'
1.aof相对⽐较安全，最多丢失1秒数据

9.如果设置了过期时间，恢复数据后会如何处理？

1.aof⽂件会记录下过期时间
2.恢复的时候会去对⽐过期时间和当前时间，如果超过了，就删除key
3.key的过期时间不受备份影响

10.AOF和RDB如何选择

https://redis.io/topics/persistence
1.开启混合模式
2.开启aof
3.不开启rdb
4.rdb采⽤定时任务的⽅式定时备份
5.可以从库开启RDB进⾏备份
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 199,711评论 5赞 468
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 83,932评论 2赞 376
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 146,770评论 0赞 330
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 53,799评论 1赞 271
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,697评论 5赞 359
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,069评论 1赞 276
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,535评论 3赞 390
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,200评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,353评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,020评论 3赞 315
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,610评论 3赞 303
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2赞 346
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2赞 341