JVM问题排查和常见问题分析章

Java开发中的常见问题:

  1. 依赖版本冲突问题
  2. OOM
  3. 机器负载很高
  4. 方法调用速度异常的慢
  5. 代码逻辑不符合预期,该执行的代码没有执行到

依赖版本冲突问题

表现形式: 服务启动或执行过程中出现ClassNotFoundException,NoClassDefFoundError, NoSuchMethodError
JVM加载jar包的顺序:

  1. 如果是maven或者gradle, shadowJar的时候优先使用最浅(依赖深度)的依赖
  2. classpath中包括多个版本的依赖,这种情况加载顺序是不定的,可以通过jinfo pid命令查看:
java.class.path = /home/qiniu/platform/zookeeper/bin/../build/classes:/home/qiniu/platform/zookeeper/bin/.. com.sun.management.jmxremote = java.vm.specification.version = 1.8

解决思路:

  1. gradle dependencies > /tmp/dpe.text 或者 mvn dependency:tree -dverbose > /tmp/dpe.text 查看依赖数,exclude掉冲突的依赖包
  2. 利用arthas sc命令,查看线上具体执行的方法是从哪个jar包加载的,然后exclude掉多余的依赖, 参考: https://alibaba.github.io/arthas/sc.html
  3. shaded plugin,package relocation改变包名, 比如:
<relocations>
    <relocation>
        <pattern>org.apache</pattern>
        <shadedPattern>hidden.org.apache</shadedPattern>
        <includes>
            <include>org.apache.maven.*</include>
        </includes>
        <excludes>
            <exclude>org.apache.maven.Public*</exclude>
        </excludes>
    </relocation>
</relocations>

参考: https://maven.apache.org/plugins/maven-shade-plugin/shade-mojo.html
1,2基本上可以解决大部分问题,3是终极方法

OOM

属于最常见的问题,Java的一大优点是其垃圾回收机制,但是也因为GC导致了容易出先内存溢出问题

java.lang.OutOfMemoryError:Java heap space

原因就是应用程序需要的堆空间是XXL号的,但是JVM提供的却是S号。解决方法也很简单, 通过设置-Xmx参数提供更大的堆空间即可。

除了前面的因素还有更复杂的成因:

  1. 流量/数据量峰值:应用程序在设计之初均有用户量和数据量的限制,某一时刻,当用户数量或数据量突然达到一个峰值,并且这个峰值已经超过了设计之初预期的阈值,那么以前正常的功能将会停止,并触发java.lang.OutOfMemoryError: Java heap space异常。
    2 内存泄漏:特定的编程错误会导致你的应用程序不停的消耗更多的内存,每次使用有内存泄漏风险的功能就会留下一些不能被回收的对象到堆空间中,随着时间的推移,泄漏的对象会消耗所有的堆空间,最终触发java.lang.OutOfMemoryError: Java heap space错误。
  2. 非常多的打印异常堆栈信息,也容易造成此类OOM

第1种可以dump内存中的对象,分析那个对象占用内存最多, 然后再进一步结合代码分析
第2种最常见的是Map的使用,Map的key必须同时重载equals和hasCode方法,否则很容易造成内存泄漏

java.lang.OutOfMemoryError:GC overhead limit exceeded

默认情况下,当应用程序花费超过98%的时间用来做GC并且回收了不到2%的堆内存时,会抛出java.lang.OutOfMemoryError:GC overhead limit exceeded错误。具体的表现就是你的应用几乎耗尽所有可用内存,并且GC多次均未能清理干净。

这个异常是一个信号,示意应用程序在垃圾收集上花费了太多时间但却没有什么卵用。默认超过98%的时间用来做GC却回收了不到2%的内存时将会抛出此错误。那如果没有此限制会发生什么呢?GC进程将被重启,100%的CPU将用于GC,而没有CPU资源用于其他正常的工作。

可以通过-XX:-UserGCOverheadLimit参数关闭这个功能,但是这样只会推迟真正的OOM,不建议这么做

java.lang.OutOfMemoryError:Permgen space

明持久代所在区域的内存已被耗尽,持久代主要存储的是每个类的信息,比如:类加载器引用、运行时常量池(所有常量、字段引用、方法引用、属性)、字段(Field)数据、方法(Method)数据、方法代码、方法字节码等等。我们可以推断出,PermGen的大小取决于被加载类的数量以及类的大小,可以 通过-XX:MaxPermSize=5m或者Metaspace(JDK1.8)来配置

java.lang.OutOfMemoryError:Unable to create new native thread

表示Java应用程序已达到其可以启动线程数量的极限了, 当JVM向OS请求创建一个新线程时,而OS却无法创建新的native线程时就会抛出Unable to create new native thread错误.

总体上来说,抛出此错误会经过以下几个阶段:

  • 运行在JVM内的应用程序请求创建一个新的线程
  • JVM向OS请求创建一个新的native线程
  • OS尝试创建一个新的native线程,这时需要分配内存给新的线程
  • OS拒绝分配内存给线程,因为32位Java进程已经耗尽内存地址空间(2-4GB内存地址已被命中)或者OS的虚拟内存已经完全耗尽
  • Unable to create new native thread错误将被抛出

当然可以通过在OS级别增加线程数限制来绕过这个错误。如果你限制了JVM可在用户空间创建的线程数,那么你可以检查并增加这个限制:ulimit -u, 但是系统的资源是有限的,不是线程数越多处理速度就越快。那么到底起多少个线程比较最优呢,后面再单独讨论

java.lang.OutOfMemoryError:Out of swap space

Java应用程序在启动时会指定所需要的内存大小,可以通过-Xmx和其他类似的启动参数来指定。在JVM请求的总内存大于可用物理内存的情况下,操作系统会将内存中的数据交换到磁盘上去,这个错误表示交换空间也将耗尽,并且由于缺少物理内存和交换空间,再次尝试分配内存也将失败。

这个问题往往发生在Java进程已经开始交换的情况下,现代的GC算法已经做得足够好了,当时当面临由于交换引起的延迟问题时,GC暂停的时间往往会让大多数应用程序不能容忍。

这些往往是由操作系统级别的问题引起的,例如:

  • 操作系统配置的交换空间不足。
  • 系统上的另一个进程消耗所有内存资源。

还有可能是本地内存泄漏导致应用程序失败,比如:应用程序调用了native code连续分配内存,但却没有被释放。

解决办法: 增加交换空间

但是操作的时候需要谨慎一点,交换空间运行垃圾回收算法会使GC暂停的时间增加几个数量级,也因为这个原因,好多服务组件都直接建议将交换空间关掉,从而提高性能

java.lang.OutOfMemoryError:Requested array size exceeds VM limit

该错误由JVM中的native code抛出的,意味着应用程序试图分配大于Java虚拟机可以支持的数组,但是这种情况很少见,因为Java中的最大正整数为2 ^ 31 - 1 = 2,147,483,647。 并且平台特定的限制可以非常接近这个数字。

Out of memory:Kill process or sacrifice child

操作系统是建立在进程的概念之上,这些进程在内核中作业,其中有一个非常特殊的进程,名叫“内存杀手(Out of memory killer)”。当内核检测到系统内存不足时,OOM killer被激活,然后选择一个进程杀掉。哪一个进程这么倒霉呢?选择的算法和想法都很朴实:谁占用内存最多,谁就被干掉。

有时候自己的服务进程莫名其妙的被kill掉了,可能就是它干的,可以通dmesg -t 查看系统日志

解决办法:

  1. 调整OOM Killer配置
  2. 升级内存
  3. 优化自己的程序

不建议调大交换空间,原因上面已经说过了

查看JVM启动参数的方法有很多,最常见的是jinfo, 例如: jinfo [pid], 当然arthas的dashboard/jvm命令也可以比较直观的查看

几个常用的命令:

jmap -heap 1234 查看进程号为1234的Java程序的整个jvm内存状态 jmap -histo 1234 查找进程号为1234的java程序的jvm堆中对象详细占用情况 jmap -dump:``format``=b,``file``=``/my``.dump 1234 导出1234进程的java程序的整个JVM信息

监控GC的工具: GC日志

  • -XX:+PrintGCDetails
  • -XX:+PrintGCTimeStamps
  • -XX:+PrintHeapAtGC
  • -XX:+PrintGCDateStamps (from JDK 6 update 4)

通过jstat 查看内存和GC: https://www.cnblogs.com/yjd_hycf_space/p/7755633.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,841评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,415评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,904评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,051评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,055评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,255评论 1 278
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,729评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,377评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,517评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,420评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,467评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,144评论 3 317
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,735评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,812评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,029评论 1 256
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,528评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,126评论 2 341

推荐阅读更多精彩内容

  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,161评论 11 349
  • jvm原理 Java虚拟机是整个java平台的基石,是java技术实现硬件无关和操作系统无关的关键环节,是java...
    AI乔治阅读 17,208评论 21 486
  • 转自Java内存溢出(OOM)异常完全指南 我的职业生涯中见过数以千计的内存溢出异常均与下文中的8种情况相关。本文...
    SunnyMore阅读 1,958评论 0 17
  • 人生如果太空 那就太无聊 人生如果太忙 那就太辛苦 人生有点事做 不徐不疾 那就刚刚好
    清晨的风儿阅读 164评论 0 3
  • 昨天被告知今天早上得到会所值班,早上运动完就赶紧来会所值班。距离上次值班也有两个月了吧,值班其实是蛮好玩的,可以借...
    三皮Simon阅读 123评论 0 0