load过高但是cpu占用率低的排查
过程描述
- 某天晚上，短信受到报警，说mongodb服务器cpu load过高；
- 登录到线上一看，使用top命令，发现load到了12(db服务器是4核）但是cpu占用率很低，当时就很疑惑;因为我之前一直以为load高，一定是cpu繁忙造成的，cpu占用应该很大才对
-
再看了看top输出，cpu 的wait很高，经常持续在95%左右，查阅了资料，猜想是io过高
屏幕快照 2015-12-18 上午1.29.29.png -
使用vmstat 2 5命令，查看io的情况。
屏幕快照 2015-12-18 上午1.29.47.png
bi和bo这一项，显示的就是服务器读写磁盘的情况，我对比了未报警正常的dbserver，明显偏高
- 这个时候，需要看到各个进程读写磁盘的情况。网上搜索了一下，有一个iotop的工具，可以做到。执行需要sudo权限。正在我准备安装的时候，发现load降下去了，另外一个同事干掉了一个进程，他解释说，看见这个进程的日志有很多错误。现场没了。囧
其它
- iotop的输出第一个名字是tid，我验证了一下，tid就是pid。网上搜索了一下，也验证了这个。
