利用SkyWalking优化性能实例

APM工具由之前的pinpoint切换为sw了,主要还是开发者是国内的,交流起来比较方便,并且社区也比较活跃。少说废话,下面直接开始。
切换sw后,发现某个实例性能不太好


image.png

1、复制一下慢接口的接口名称,到追踪里面查询慢接口的情况


image.png

在这里可以清楚看到基本上都需要好几秒,每次请求。在这个接口里面,做了好几次数据库的查询,其中第一次查询就3秒以上,用explain SQL语句,看看执行计划,发现了问题
image.png

没有走索引,尽管建立了联合索引,但是实际在执行查询的时候,没有走索引,而这个表的数据有好几百万。最简单的做法就是建一个索引,或者是修改查询语句,增加FORCE INDEX(索引),让这个语句强制走这个索引,针对条件建索引后,再看看执行计划,发现已经有了明显改变。
image.png
小科普:mysql的type效率差异顺序 
type显示连接使用了何种类型。从最好到最差的连接类型为:
const、eq_reg、ref、range、indexhe和ALL
这里是显示range, range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况。

优化后,可以看到执行时间由之前的9秒左右下降到2秒左右


image.png

全链路的问题诊断和优化

我们知道,现在大部分都是微服务的架构了,但是微服务的问题排查简直是要人命,特别是在一些服务调用,还是调用的是其他产品线的服务,需要别人帮忙排查的时候,简直是求爷爷告奶奶的~~~~~。所以全链路的问题诊断和分析在微服务的治理中非常重要。这里也是以skywalking为例,看看如何分析和优化


QQ20200720-005256.png

在这里,我们可以看到某个服务基本上都是需要5秒以上(😓),这类请求会拖慢全站,关键的时候会导致雪崩效应,使得连接数爆了,所以这类服务必须消灭。
我们打开追踪的界面,看具体的连接情况


01725E64-46F0-49CA-8639-F1361CEACDA8.png

发现这里一共跨了2个应用,里面包含了51个事情(我的天呀,一个又长又臭的事务),紫色的是接口的入口网关层,我们可以看到网关大概是消耗3ms左右,剩下的5秒都是到具体的应用消耗的,网关层面上没有任何问题。而在业务应用层,可以看到51个事情基本上都是在做redis的处理,get,set和expire,而这些操作基本上都是1ms不到,redis层面是没有问题的(暂时不管set和expire的不合理问题,起码性能是好的),我们再观察一下右边的图形,你发现了啥?


image.png

哈哈,就是这里了,你发现在做完redis的一个get后,到下一个redis的操作set之间,差不多用了5秒,中间大量的真空。
打开具体的操作,看看是在获取哪个key里面的内容,方便查找问题
image.png

根据这个key,找到具体的代码,发现获取到内容后,里面有一个for循环去调用外部服务(汗ing)导致耗时过长,接下来就是具体的逻辑优化了,因为这里主要是讲如何利用工具跨应用去全链路分析具体问题在哪里。这里只是举例,只涉及到网关和一个业务应用,实际中会有跨多个应用的调用,主要都接入了skywalking,就可以用这个方法快速定位到是具体哪个应用,哪个逻辑慢或者出问题了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,802评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,109评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,683评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,458评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,452评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,505评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,901评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,550评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,763评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,556评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,629评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,330评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,898评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,897评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,140评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,807评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,339评论 2 342

推荐阅读更多精彩内容