微服务实践01--微服务管理11--缓存00--概述

微服务实践目录,可以参见连接。

缓存系列包括:
1.微服务管理-11.缓存概述
1.微服务管理-11.缓存-0.技术
1.微服务管理-11.缓存-1.多级缓存设计
1.微服务管理-11.缓存-2.典型缓存架构设计
1.微服务管理-11.缓存-3.实践
1.微服务管理-11.缓存-4.总结

背景

从冯诺依曼体系结构开始计算机就开始考虑处理速度与存储之间的关系。对于缓存来说在CPU中加入缓存的时候是为了解决速度与存储的不协调问题。通过将常用的数据、下一条CPU指令加载到CPU的Cache中而加快因为数据总线读取数据造成的时延。以这种方式减少因为数据读取对处理时间的延时的情况,提高CPU计算时间片使用率。从而提高CPU的处理速度。从这里可以看到缓存的出现就是为了充分体现CPU的处理速度而设计的。

而我们现在经常提到对的缓存是在业务系统层面。基本上已经不考虑CPU的寻址、读取数据的时间了。业务系统中的缓存是随着计算机系统在人们生活中不断的发挥作用。业务系统不断的需要快速的反馈,而业务的处理消耗的时间慢慢的不能被使用者所接受。所以人们开始考虑怎样加快系统的返回时间,人们开始将CPU上的Cache的概念引入到业务系统中。

前人分析计算机系统其实可以分为计算密集型系统和IO密集型系统。对于这两种系统的缓存要求也是不一样的。对于计算密集型系统就像上面所说的缓存需要解决的问题是加快数据读取的速度。对于IO密集型来说系统系统是需要快速检索,并快速聚合。

那么对于现在的大型互联网系统来说应该是计算密集型系统还是IO密集型系统呢?针对这个问题,我的定义是IO密集型系统。具体原因是:对于互联网系统来说最多要操作的是CURD。所以说互联网系统是IO密集型系统。而IO密集型系统又可以分为读密集型和写密集型。而我再把互联网系统定义为IO读密集型系统。

  • IO读密集型系统

对于作者认为互联网系统是IO读密集型系统来说,可能大家不认同。作者在这里举两个例子。

报表系统对于业务系统来说是一个比较常见的部分。报表系统最直观的看法是他是一套计算密集型系统。简单的报表系统对于程序员来说就是查询并且根据计算条件计算出结果并输出。而对于架构师来说这个不可能让程序每次都读取并且占用数据库连接的情况下进行报表操作。对于报表系统来说比较简单的处理方式是报表数据库和业务数据库分离。如果是比较完善体系可以引入OLAP的概念做WD完成报表的内容。如果使用简单的方式的话,分析报表建立维度表,然后以预处理的方式将数据存储在预处理表中。在需要展示时可以直接从维度表或维度表的聚合中获取数据。

工作流管理系统对于业务系统来说系统中查看工作流中数据的地方比产生、修改这部分数据的地方多的多。而且一个工作流管理系统的计算量明显会更小。

个性化推荐系统对于业务系统来说,简单来说就是一个数据源。对于业务系统来说不关心个性推荐系统中的算法,模型等内容。而个性化推荐系统只需要将计算后的数据交付给业务系统即可。

针对这几个例子我们可以简单的认为大部分互联网系统都是IO读密集型系统。

  • 概述

对于IO读密集型的互联网系统来说,缓存需要处理那些问题?这里列出要处理的问题,并会在说明这些问题处理方式时说明为什么这些问题需要处理。

  • 缓存位置
  • 缓存数据规则
  • 缓存失效策略
  • 缓存序列化与容量
  • 缓存类型

下面会以重要性的顺序进行说明。

缓存数据规则

对于系统中会怎样认为那些数据?应该像CPU那样缓存程序代码段的指令还是缓存代码指令所要使用的数据?这个部分可以分为:过程数据规则、数据特征规则。过程数据规则说明应该缓存那些数据。

  • 缓存过程数据规则

过程数据是在处理过程中的数据。对于过程中的数据是从原始的数据源中读取开始到真正的从接口返回的数据。这里可以分为:

  • 缓存原始数据
    从数据源(一般是数据库)中读取过来的数据。
  • 缓存半成品数据
    从数据源读取之后,进行了部分聚合的情况下的半成品数据。(对于微服务架构模式来说前台服务就是作为数据、服务能力聚合而做的。所以经常性的数据聚合会在前台中完成。)
  • 缓存成品数据
    半成品再次聚合成为成品数据。使数据可以直接返回。

这些数据经常会在我们服务中发现。这里先说规则缓存的数据应该是最接近成品数据的数据。根据我们在背景中说明的互联网系统中最主要的是IO读密集型系统。所以,需要进行数据已最快的速度进行返回。让系统可以以最快的速度进行返回。

不过在缓存数据过程中可能会放因为缓存的问题造成接口响应时间抖动的情况。在这个过程中应尽量的减小影响响应时间方差的处理。

  • 缓存粒度规则

缓存一般情况下是Key-Value型数据库,Key的个数其实也影响缓存性能。也影响需要聚合的数据服务过程。通常情况下,缓存的粒度越小,命中率会越高;但是也需要考虑我们在用户QPS放大到缓存QPS的问题。一般情况下缓存放大倍数不应该超过2倍,这个会影响系统的稳定性。

  • 缓存数据特性规则

现在大家对于缓存数据的主要考虑点就是根据数据特性进行缓存。主要考虑的内容是使用频繁度+数据大小。

/ 频繁 不频繁
大量
少量

缓存最大的特点是需要加快访问速度。也就是需要对于热点数据进行加速,所以,不管是大量的还是少量的都需要进行缓存。

缓存技术

缓存技术在下一篇缓存技术中进行详细介绍。这里主要说明一些在记性技术选择时,需要考虑到的内容。

  • 分布式
  • 堆内、堆外
  • 持久化
  • 换出策略
  • 分级支持
  • 缓存大小
  • 命中率
  • 缓存过期策略
  • 并发支持
  • 性能

缓存失效

先说结论:最终目标设计缓存永不失效的缓存系统。可以通过CQRS模式,事件驱动模式,命令控制环路模式等架构模式设计成一个永不失效的系统。这样可以设计出的系统绝对不会遇到缓存雪崩,缓存批量加载问题。

缓存换出策略:

FIFO、LFU、LRU、ARC、MRU等策略。换出策略时常跟分布式缓存数据再均衡策略有关。在设计与使用缓存技术时需要考虑。

缓存序列化与容量

序列化技术与容量是有关的。Serializable、Json、Hessian、Protobuf、Thrift等。缓存的序列化技术考虑版本化反序列化能力,序列化后大小,序列化性能等。之后的技术选型文章中说明。

缓存相关内容

编号 工作 说明
1 缓存初始化 缓存初始化触发时间是需要考虑的。通过事件制,还是启动加载?
2 缓存过期 过期策略。我坚实的相信不能绝对不要。
3 缓存更新 通过事件更新,以补偿机制保证一致性。
4 缓存过期时间更新 这里主要是负责在不更新缓存内容的情况下更新缓存过期时间。在IoT设备上经常会用到看门狗,其实更新缓存过期时间也有类似的作用

缓存位置:

缓存的位置包括很多。从整个互联网系统通用架构的最前端到最后端的方式进行技术缓存位置说明:

  • 搜索服务
  • 浏览器
  • CDN
  • WEB服务器
  • 中间件(消息中间件,数据库中间件等)
  • 服务的高速缓存
  • 数据库查询缓存
  • CPU的cache

总结

前几天总结了一句话:同样的Dubbo、同样的Spring Cloud有些公司能实现到几万QPS,几十万QPS,而有些公司只能实现几十的QPS。映射到缓存上有些系统即使用了缓存也就是那么几十的QPS怎么解决?

本文中更多的是解决高性能的问题。而不是简单的解决该怎么用缓存。下一篇文章会专门的介绍缓存技术。

参考:

聊聊MyBatis缓存机制
如何优雅的设计和使用缓存?
缓存技术原理浅析
java序列化框架对比

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,681评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,710评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,623评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,202评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,232评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,368评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,795评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,461评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,647评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,476评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,525评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,226评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,785评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,857评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,090评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,647评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,215评论 2 341

推荐阅读更多精彩内容