Redis缓存之解决高并发问题

Resisson-GitHub Wiki

  1. 为什么要使用Redis?
  2. 那些数据适合放入缓存?

一、缓存失效问题

1. 缓存穿透

指查询一个一定不存在的数据,由于缓存是不命中,将去查询数据库,但是
数据库也无此记录,我们没有将这次查询的null写入缓存,这将导致这个不
存在的数据每次请求都要到存储层去查询,失去了缓存的意义

风险:
利用不存在的数据进行攻击,数据库瞬时压力增大,最终导致崩溃

解决:
null结果缓存,并加入短暂过期时间

2. 缓存雪蹦

缓存雪崩是指在我们设置缓存时key采用了相同的过期时间,
导致缓存在某一时刻同时失效,请求全部转发到DB,DB瞬时
压力过重雪崩。

解决:
原有的失效时间基础上增加一个随机值,比如1-5分钟随机,这
样每一个缓存的过期时间的重复率就会降低,就很难引发集体
失效的事件。

3. 缓存击穿

  • 对于一些设置了过期时间的key,如果这些key可能会在某些
    时间点被超高并发地访问,是一种非常“热点”的数据。

  • 如果这个key在大量请求同时进来前正好失效,那么所有对
    这个key的数据查询都落到db,我们称为缓存击穿。

解决:
加锁
大量并发只让一个去查,其他人等待,查到以后释放锁,其他
人获取到锁,先查缓存,就会有数据,不用去db

二、分布式加锁

本地锁,只能锁住当前进程,所以我们需要分布式锁

屏幕快照 2020-06-28 下午11.02.40.png
  • 分布式锁基本原理

我们可以同时去一个地方“占坑”,如果占到,就执行逻辑。否则就必须等待,直到释放锁。
“占坑”可以去redis,可以去数据库,可以去任何大家都能访问的地方。
等待可以自旋的方式。

屏幕快照 2020-06-28 下午11.07.44.png
1. 分布式锁演进-阶段一

问题:
setnx占好了位,业务代码异常或者程序在页面过程
中宕机。没有执行删除锁逻辑,这就造成了死锁

解决:
设置锁的自动过期,即使没有删除,会自动删除

2. 分布式锁演进-阶段二

问题:
setnx设置好,正要去设置过期时间,宕机。又死锁了。

解决:
设置过期时间和占位必须是原子的。redis支持使用setnx ex
命令

3. 分布式锁演进-阶段三

问题:
删除锁直接删除???
如果由于业务时间很长,锁自己过期了,我们
直接删除,有可能把别人正在持有的锁删除了。

解决:
占锁的时候,值指定为uuid,每个人匹配是自己
的锁才删除。

4. 分布式锁演进-阶段四

问题:
如果正好判断是当前值,正要删除锁的时候,锁已经过期,
别人已经设置到了新的值。那么我们删除的是别人的锁

解决:
删除锁必须保证原子性。使用redis+Lua脚本完成

5. 分布式锁演进-阶段五-最终形态
屏幕快照 2020-06-28 下午11.30.09.png
保证加锁【占位+过期时间】和删除锁【判断+删除】的原子性。
更难的事情,锁的自动续期

Lua脚本:
  [图片上传中...(屏幕快照 2020-06-28 下午11.27.40.png-299051-1593358130785-0)]
String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return
redis.call('del', KEYS[1]) else return 0 end";

三、缓存数据一致性

缓存里面的数据如何和数据库保存一致性?

  • 双写模式
  • 失效模式

采用方案: 失效模式

  • 缓存的所有数据都有过期时间,数据过期下一次查询触发主动更新
  • 读写数据的时候,加分布式读写锁。(如经常写,经常读会对系统造成影响。如偶尔写,经常读,无影响。因为读写锁最大的特定是:读相当于无锁状态,只有在写锁的情况下,读锁才需要等待。)
1. 双写模式
屏幕快照 2020-06-29 下午3.41.03.png
2. 失效模式
屏幕快照 2020-06-29 下午3.39.56.png
3. 解决方案

无论是双写模式还是失效模式,都会导致缓存的不一致问题。即多个实例同时更新会出事。怎么办?

• 1. 如果是用户纬度数据(订单数据、用户数据),这种并发几率非常小,不用考虑这个问题,缓存数据加
上过期时间,每隔一段时间触发读的主动更新即可
• 2. 如果是菜单,商品介绍等基础数据,也可以去使用canal订阅binlog的方式。
• 3. 缓存数据+过期时间也足够解决大部分业务对于缓存的要求。
• 4. 通过加锁保证并发读写,写写的时候按顺序排好队。读读无所谓。所以适合使用读写锁。(业务不关心
脏数据,允许临时脏数据可忽略);

总结:

  1. 我们能放入缓存的数据本就不应该是实时性、一致性要求超高的。所以缓存数据的时候加上过期时间,保证每天拿到当前最新数据即可。
  2. 我们不应该过度设计,增加系统的复杂性
  3. 遇到实时性、一致性要求高的数据,就应该查数据库,即使慢点。
4. 缓存一致性解决-Canal

Canal是阿里开源的中间件

屏幕快照 2020-06-29 下午3.50.42.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341