背景

1.线上运维一套半同步集群，在加载半同步插件时主库夯死数据库，新连接无法建立，数据库无法正常关闭
2.查看官方bug list发现这是一个bug很多人都遇到了
  https://bugs.mysql.com/bug.php?id=88693          #install plugin 夯死数据库5.7.17
  https://bugs.mysql.com/bug.php?id=90949          #install plugin 夯死数据库5.7.21   
3.官方宣称5.7.22解决了这个bug
  https://bugs.mysql.com/bug.php?id=90949

线上环境

mysql_version：
  oracle mysql-5.7.17
加载半同步语句:
  mysql> install plugin rpl_semi_sync_master SONAME 'semisync_master.so';

疑问

1.加载半同步插件导致数据库夯死原因
2.如何复现
3.加载其他插件会造成这个问题吗
4.如何规避这个bug
5.官方如何修复

疑问1分析(加载半同步插件导致数据库夯死原因)

# 无插件安装插件加锁、释放锁过程
===================安装插件持有插件锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) begin===============
===================安装插件持有插件锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) end=================
===================安装插件释放插件锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin===============
===================安装插件释放插件锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end=================

# 已有插件继续安装插件加锁、释放锁过程
===================安装插件持有变量锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) begin===============
===================安装插件持有变量锁 mysql_rwlock_wrlock(&LOCK_system_variables_hash) end=================
==============安装插件持有插件锁 mysql_mutex_lock(&LOCK_plugin) begin==========
==============安装插件持有插件锁 mysql_mutex_lock(&LOCK_plugin) end============
==============安装插件释放插件锁 mysql_mutex_unlock(&LOCK_plugin) begin========
==============安装插件释放插件锁 mysql_mutex_unlock(&LOCK_plugin) end==========
===================安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin===============
===================安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end=================

# select方式查看变量加锁、释放锁过程
===================查看变量持有插件锁 mysql_mutex_lock(&LOCK_plugin) begin=================================
===================查看变量持有插件锁 mysql_mutex_lock(&LOCK_plugin) end===================================
==============安装插件持有变量锁 mysql_rwlock_rdlock(&LOCK_system_variables_hash) begin========
==============安装插件持有变量锁 mysql_rwlock_rdlock(&LOCK_system_variables_hash) end==========
==============安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) begin========
==============安装插件释放变量锁 mysql_rwlock_unlock(&LOCK_system_variables_hash) end==========
===================查看变量释放插件锁 mysql_mutex_unlock(&LOCK_plugin) begin===============================
===================查看变量释放插件锁 mysql_mutex_unlock(&LOCK_plugin) end=================================

如果遇到已有插件情况下继续安装插件并且SQL满足下面时序的场景就会触发该bug

image.png

疑问2分析(如何复现)

# 更改源码，增加sleep，让install plugin先获取mysql_rwlock_rdlock但是不获取mysql_mutex_lock
  if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))
  {
    mysql_mutex_unlock(&LOCK_plugin);
    report_error(report, ER_UDF_EXISTS, name->str);
    sleep(10); /*高超 add*/
    mysql_mutex_lock(&LOCK_plugin);   /*此位置不应该继续加锁，bug修复后取消该加锁代码*/
    DBUG_RETURN(TRUE);
  }
# 执行图片中session1 、session2的SQL复现场景，此时两个session全部堵塞，后续连接无法新建

疑问3分析(加载其他插件会造成这个问题吗)

测试组复制插件、半同步插件均有该问题，其他插件没有测试，应该都有该问题

疑问4分析(如何规避这个bug)

1.已有插件情况下最好不要继续安装，先检查，没有在安装；
2.查看变量优先通过show 方式查看，show 方式不会持有变量锁。

疑问5分析(官方如何修复)

#有bug部分代码
  if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))
  {
    mysql_mutex_unlock(&LOCK_plugin);
    report_error(report, ER_UDF_EXISTS, name->str);
    mysql_mutex_lock(&LOCK_plugin);  
    DBUG_RETURN(TRUE);
  }

#修复后部分代码
  if (plugin_find_internal(name_cstr, MYSQL_ANY_PLUGIN))
  {
    mysql_mutex_unlock(&LOCK_plugin);
    report_error(report, ER_UDF_EXISTS, name->str);
    DBUG_RETURN(TRUE);
  }

mysql加载插件夯死数据库原因分析及场景复现

mysql加载插件夯死数据库原因分析及场景复现

背景

线上环境

疑问