Redis持久化

RBD(Redis DateBase)

  1. 自动备份:在指定的时间间隔内把数据快照写进磁盘
  2. 手动备份:
    save:阻塞其他所有的任务
    bgsave:后台进行save
  3. 手动停止RDB保存规则方法:redis-cli config set save ""

redis-check-dump --fix filename.rdb:修复rdb文件

备份策略:

在一定的时间间隔内,如果修改的记录数超过某个值,就进行备份。默认是900秒内修改一条,300秒内修改10条或者60秒内修改10000条

RBD其他自动触发机制

  1. 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点
  2. 执行shutdown命令时,自动执行rdb持久化

备份策略原理

Redis的save m n,是通过serverCron函数、dirty计数器、和lastsave时间戳来实现的。

serverCron是Redis服务器的周期性操作函数,默认每隔100ms执行一次;该函数对服务器的状态进行维护,其中一项工作就是检查 save m n 配置的条件是否满足,如果满足就执行bgsave。

dirty计数器是Redis服务器维持的一个状态,记录了上一次执行bgsave/save命令后,服务器状态进行了多少次修改(包括增删改);而当save/bgsave执行完成后,会将dirty重新置为0。

例如,如果Redis执行了set mykey helloworld,则dirty值会+1;如果执行了sadd myset v1 v2 v3,则dirty值会+3;注意dirty记录的是服务器进行了多少次修改,而不是客户端执行了多少修改数据的命令。

lastsave时间戳也是Redis服务器维持的一个状态,记录的是上一次成功执行save/bgsave的时间。

save m n的原理如下:每隔100ms,执行serverCron函数;在serverCron函数中,遍历save m n配置的保存条件,只要有一个条件满足,就进行bgsave。对于每一个save m n条件,只有下面两条同时满足时才算满足:

  1. 当前时间-lastsave > m
  2. dirty >= n

压缩:LZF压缩,会损耗一定的CPU性能,默认开启,建议开启
校验:CRC64校验,会损耗一定的CPU性能,默认开启,建议开启。

执行flushall会删除掉所有的记录,该情况满足自动备份条件,会立刻进行备份,但是备份的rdb文件为空

RBD缺点:

  1. 每隔一定时间进行一次保存,如果redis意外宕机,则会丢失最后一次snapshot
  2. 备份时需要fork一份当前的数据,需要额外的空闲空间,还会导致在一些毫秒级不能相应客户端请求

RBD优点

  1. RDB是一个非常紧凑的文件
  2. 备份时,只需要主进程fork一个子进程,接下来的任务都由子进程完成,可以最大化redis性能
  3. 与AOF相比,恢复大数据集的时候会更快一些。

AOF(Append only File)

记录Redis执行过的所有写操作,redis启动的时候会把aof文件中的所有命令从前到后执行一次,只允许追加文件。默认不使用

redis-cli appendonly.aof:使用aof文件进行恢复
redis-check-aof --fix filename.aof:修复aof文件命令。删除filename.aof文件中所有不符合aof语法的句子

备份策略

实时(always):保存每一条写命令,对性能要求高,不会有数据丢失。
每秒(everysec):每秒保存一次写命令,如果redis服务器宕机,会有数据丢失。默认采取每秒(everysec)
不追加(no):不保存写命令

重写

当AOF文件越来越大到一定阈值的时候,redis会采取重写策略,将内容压缩。
AOF rewrite操作就是“压缩”AOF文件的过程,当然redis并没有采用“基于原aof文件”来重写的方式,而是采取了类似snapshot的方式:基于copy-on-write,全量遍历内存中数据,然后逐个序列到aof文件中。因此AOF rewrite能够正确反应当前内存数据的状态,这正是我们所需要的;
rewrite过程中,新的变更操作将仍然被写入到原AOF文件中,同时这些新的变更操作也会被redis收集起来(buffer,copy-on-write方式下,最极端的可能是所有的key都在此期间被修改,将会耗费2倍内存),当内存数据被全部写入到新的aof文件之后,原aof文件中收集的新的变更操作也将会一并追加到新的aof文件中,然后把新的aof文件重命名为appendonly.aof,此后所有的操作都将被写入新的aof文件。
如果在rewrite过程中出现故障,将不会影响原AOF文件的正常工作,只有当rewrite完成之后才会切换文件,因此rewrite过程是比较可靠的

AOF缺点**

  1. 恢复相同大小的数据,AOF文件远大于RDB,运行效率也低于RBD
  2. aof文件rewrite操作,把数据压缩写到新的文件中的时候会导致几乎无法避免的阻塞。

AOF优点

  1. aof文件可读性好
  2. 数据完整新好,最坏只会丢失2s的数据

RBD和AOF

  • redis启动的时候自动从rbd或aof文件中恢复数据。
  • RBD和AOF两种恢复机制可以共存。两者共存时,redis启动时优先使用AOF恢复数据,如果AOF文件中出现错误,则无法启动redis
  • RBD只作后备用途,建议在Slave上使用RDB策略,且只需要15分钟保存一次。
  • 启用AOF,好处是最坏情况下也只损失2秒的数据。但是会带来新的问题
    1. aof文件rewrite操作,把数据压缩写入新的文件中的时候会导致几乎无法避免的阻塞。
    2. 导致持续的IO
  • 如果不用AOF,只在主从模式下启用RBD,也可以实现高可用。只是当主从服务器同时挂掉的时候会损失15分钟的数据,而且恢复数据时需要比较主从服务器上的数据,选择其中较新的来恢复
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,784评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,745评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,702评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,229评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,245评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,376评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,798评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,471评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,655评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,485评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,535评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,235评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,793评论 3 304
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,863评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,096评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,654评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,233评论 2 341

推荐阅读更多精彩内容