常见性能优化手段——以AB分流接口为例

接口性能问题,对于从事后端开发的同学来说,是一个绕不开的话题。想要优化一个接口的性能,需要从多个方面着手。

本文将会接着接口性能优化这个话题,从实战的角度出发,聊聊我是如何优化一个慢查询接口的。

AB分流接口是对C端用户进行AB分流实验,支持不同用户标签的人看到不同信息流,帮助业务和产品同事进行信息流精准营销。

由于C端用户量通常很大,所以在针对活动做AB实验时,请求量是特别大,而且流量有可能暴增,所以AB分流的性能就特别重要,不能因此而影响到正常业务。

通常公司内在每天都会发一封线上慢查询接口汇总邮件,邮件中会展示接口地址、调用次数、最大耗时、平均耗时和traceId、慢sql等信息。

1、数据库优化:索引优化,数据清理,分库分表

遇到慢接口,或者慢sql,通常第一步是优化sql,省时省力,如果要修改别的,改动点大的话,可能需要大量的测试。

SQL优化、索引优化:慢sql优化思路及使用规范
数据清理:对于高并发接口,如果查询的数据量还特别大,那就要注意及时清理数据,把过期的,没用的数据清理掉,没意义的数据直接都删除,有意义但是没少用到的数据,可以存到hive数据仓库中。
分库分表:如果数据量超过1000万,就可以考虑分库分表,把大表通过拆分成多个小表。

比如,推送时,最早的所有的推送都是一张表,后续优化时,拆分成 短信 邮件 公众号 APP 等多张表;
积分商城,在订单数据量打到1200万以上后,把订单表根据userId拆分为分片表。

2、缓存优化:hotkey优化、bigkey优化、批量处理

通常的高并发接口,我们肯定会用redis缓存,但是在高并发接口中使用redis,很容易遇到的问题就是hotkey和bigkey。

hotkey:业务中,常有一些配置信息(比如开关,兜底信息),每次查询都要去redis中获取,这些key也许并不大,但是由于高并发接口请求量太大,在redis形成 hotkey,从而导致流量倾斜,在流量突增时,很容易导致接口平均耗时上升。

优化方案:

    1. 拆分key:由于value并不大,所以可以把key复制多份(根据redis集群节点数,最好是<= redis集群节点数-2),每次查询时,先随机获取一个key,然后再去查询redis,通过redis集群多节点分担流量,降低单节点流量倾斜的风险;
    1. 内存缓存:也可以直接把这些配置信息缓存到内存中,只要能保证数据一致性,从内存中获取的性能是从redis获取的数十倍;
bigkey:一般接口中,我们认为几百kb的value才会认为是bigkey,但是高并发接口中,六七十kb的value都可能导致bigkey,从而导致网络阻塞。

优化方案:

  • 1、优化value数据结构
    只存必要的字段,非必要字段可以不存;对于字段特别多的,用数组代替json,这样有可能节省一半大小;

  • 2、优化key数据结构
    如果bigkey是hash结构,可以改成string结构;或者把一个hash改为多个hash结构,然后根据需要多次获取;

  • 3、内存缓存
    如果上面两种方法都行不通,那就只能内存缓存,但是一定要做好数据一致性处理;

Pipeline(管道)批量处理

在高并发时,如果要不断跟redis交互,那也会消耗很多时间,这时候可能通过Pipeline来进行批处理,节省每次和redis服务端的创建时间。

Pipeline的介绍和使用见这篇文章:
Redis(九):Pipeline(管道)VS Lua(脚本)

3、代码优化:批量处理,同步改为异步,多线程

批量处理,减少网络调用

接口入参从单查询改为批量查询,让上游调用尽量使用批量查询,减少网络调用,
同时如果调用别的微服务,一个微服务只调用一次,

同步改为异步,解耦

对于一些部分业务,如果上游调用方不需要知道执行结果,那我们可以通过引入中间件kafka把同步操作改为异步操作,在同步处理完必要的业务后,推送kafka信息,然后就直接返回。
剩余的业务在监听到kafka消息后再处理

多线程 CompleteFuture

如果业务中有多个微服务要调用,而这些接口调用又没有顺序关系,那我们可以通过CompleteFuture 来并发执行。

4、JVM优化

一般的JVM优化,实际上意义并不大,最有效的其实是扩节点,从8个节点扩大12个 16个,从4核8G扩到8核16G,对于性能提升是极大的。
但是对于一些特殊的业务,比如计算量很大的业务,在压测时,就会发现其性能瓶颈在CPU(直观表现就是CPU 100%,而内存却只用了 40-50%),这种在扩容时,可以CPU核数多扩点,内存少扩一点,比容从4核8G 扩容到 8核12G;

而对于一些需要大量使用内部缓存的业务来说,可以内存多扩一点,比容从4核8G 扩容到 6核16G;

5、流控优化:sentinel流控

在执行了上面的这些优化方案后,基本上接口是可以满足上游调用方需求的。
但是,还是有一些特殊情况,比如流量突然增加了十倍,这种突然暴涨的流量,可能把业务接口拖垮,从而造成线上故障。

为了避免这种情况,我们可以引入sentinel 做限流 熔断,在流量暴涨时,直接限流使其执行兜底方案,同时告警,然后研发 运维介入,通过扩节点来分流处理。

通过以上这些优化方案,AB分流接口压测单机QPS从280上升720,生产平均耗时从43ms下降到8.5ms ,P95耗时从126ms下降到22ms,耗时小于1000ms >99.99%。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,670评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,928评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,926评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,238评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,112评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,138评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,545评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,232评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,496评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,596评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,369评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,226评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,600评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,906评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,185评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,516评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,721评论 2 335

推荐阅读更多精彩内容

  • 1. 形成可实践、可借鉴、可参考的各种性能优化的方案以及选型考虑点,同时配合具体的真实案例,其他人遇到相似问题时,...
    CHINCELY阅读 341评论 0 0
  • 本文主要根据美团的技术博客《常见性能优化策略的总结》整理而来。 代码 之所以把代码放到第一位,是因为这一点最容易引...
    你是妖怪吧阅读 4,121评论 0 15
  • 常见性能优化实践总结 一:代码 这一点最容易引起技术人员的忽视。很多技术人员拿到一个性能优化的需求以后,言必称缓存...
    一只阿木木阅读 196评论 0 1
  • 代码 之所以把代码放到第一位,是因为这一点最容易引起技术人员的忽视。很多技术人员拿到一个性能优化的需求以后,言必称...
    刘臻枫阅读 477评论 0 7
  • 1. 缓存设计 在使用Redis场景中,最常见的问题就是缓存雪崩、缓存穿透和缓存击穿,后果都是由于各种情况导致大量...
    逍遥白亦阅读 1,153评论 0 6