The last packet successfully received from the server was XXX milliseconds ago 问题排查

1.起因:

在半夜执行的定时任务偶现The last packet successfully received from the server was 1,373,532 milliseconds ago问题,导致部分sql没有执行。

2.排查:

2.1 查看日志:

DruidDataSource:discard connection com.mysql.cj.jdbc.exceptions.CommunicationsException: 
Communications link failure The last packet successfully received from the server was 1,373,532 milliseconds ago. 
The last packet sent successfully to the server was 1,373,554 milliseconds ago.

查了下,这个错误是链接失败,即druid当前使用的连接池中的线程时无效连接,mysql服务端已经把这个连接给断了,但是druid这边不知道,继续使用就报错了。

对于这个问题,看到很多帖子都说去设置mysql服务器的wait_timeout(另外说一下wait_timeout表示通过非交互连接,例如jdbc,interactive_timeout表示交互式连接,通过mysql客户端连接数据库是交互式连接,通过jdbc连接数据库是非交互式连接),但是这个参数是设置空闲连接保持连接状态的最大秒数,例如:

mysql监控

这里如果wait_timeout设置为2355,那么这个sleep状态的链接再过一秒,就会被mysql客户端给断掉,所以一般druid设置的检查时间都会比这个时间短:(druid配置minEvictableIdleTimeMillis:连接保持空闲而不被驱逐的最小时间-毫秒)
另外也会有validationQuery: SELECT 'x',testWhileIdle: true这样的设置,用于检测链接是否有效;但是druid检查有效性有两种方法,一种是this.ping.invoke(conn, true, validationQueryTimeout * 1000);用ping的方法,这样配置的validationQuery: SELECT 'x'就不会执行,所以可以在客户端启动参数加上
-Ddruid.mysql.usePingMethod=false,就可以用配置的方法去验证有效性。

但是!我配置了以后该偶现的还是偶现,我决定看看mybatis的日志:
logback.xml配置:

// 仅XxxxDao类输出debug日志
    <logger name="com.xxxx.xxxx.xxx.dao.XxxxDao" level="debug" additivity="false">
        <appender-ref ref="STDOUT" />
    </logger>

以下是执行日志:

[DEBUG] 2021-07-01 01:08:53.262 [Thread-3069] queryDispatch:==> Preparing: SELECT  xxxxxx like concat(?,'%')
2021-07-01 01:08:58.826
[DEBUG] 2021-07-01 01:08:53.262 [Thread-3069] queryDispatch:==> Parameters: XXXX(String)

这里可以比较清楚的看到准备的sql和参数,并且发送去了mysql,但是半天后返回了上述的报错,这几条日志都是同一个线程,并且这个方法用到所有的sql的连接池应该都是一个,在准备sql的日志前都有这么一句:
SpringManagedTransaction:JDBC Connection [com.alibaba.druid.proxy.jdbc.ConnectionProxyImpl@5c21e27f] will not be managed by Spring
@5c21e27f应该就是持有同一个连接的代理。

有成功时候:sql跑了30多分钟;也有提交了语句,20分钟后直接报错的,这让我觉得应该不是因为服务端设置了语句执行最大时间的设置,去看了下果然没限制时间:
max_execution_time 0

因为我是半夜1:00执行,我看到这个时间有好多定时任务开始执行,就在想会不会是数据库压力的关系,看到一篇文章:

connect_timeout在获取连接阶段(authenticate)起作用,

interactive_timeout和wait_timeout在连接空闲阶段(sleep)起作用,

net_read_timeout和net_write_timeout在连接繁忙阶段(query)起作用。

net_read_timeout / net_write_timeout 这个参数只对TCP/IP链接有效,分别是数据库等待接收客户端发送网络包和发送网络包给客户端的超时时间,这是在Activity状态下的线程才有效的参数
结合来看,此问题应该是在mysql返回给客户端的时候超时,然后导致连接被断。

现在通过更换了定时任务的执行时间,错峰执行解决了这个问题。

参考:
https://blog.csdn.net/jiadajing267/article/details/79516989
https://blog.csdn.net/qq_37637196/article/details/106053558

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容