浅析Java OutOfMemoryError

在日常中我们经常遇到这样的错误:java.lang.OutOfMemoryError: Java heap space。
但是除了heap space 的OutOfMemoryError,还有其它几种OutOfMemoryError情况。今天我们就来了解一下:
1、java.lang.OutOfMemoryError: Java heap space。
这是因为虚拟机堆的空间所剩不多。当准备创建的对象需要的内存已经超过虚拟机堆所剩的空间。虚拟机会尝试通过full GC来回收内存,如果不行的话,就会抛出OutOfMemoryError。
导致OutOfMemoryError异常的常见原因有以下几种:
内存中加载的数据量过于庞大,如一次性从DB取出过多数据;
集合类中有对象的引用,使用完后未清空,使得JVM不能回收;
代码中存在死循环或循环产生过多重复的对象实体;
启动参数内存值设定的过小。

举一个常见的OutOfMemoryError场景:先从DB读取数据存放到内存中,然后遍历处理。

 public class HeapSpaceOutOfMemory {

  private static List<byte[]> getDataFromDb() {
    List<byte[]> list = new ArrayList<>();
    for (int i = 0; i < 500; i++) {
        byte[] data = new byte[1024 * 1024];// 1M的对象
        list.add(data);
    }
    return list;
  }

  public static void main(String[] args) {
    // 1、从db取数据,大小为500M
    List<byte[]> list = getDataFromDb();
    // 2、遍历处理list
    for (byte[] data : list) {
        //do something
    }
    System.out.println("success");
  }
}

JVM参数: -Xms64M -Xmx128M -XX:+PrintGCDetails -Xloggc:/apps/logs/heap_demo.log


image.png

运行结果:


image.png

查看GC Log,可以看到有Full GC 的痕迹,但是Full GC的收效果不明显,年轻代和年老代都没有足够的空间为即将创建的对象分配空间。
image.png

解决OOM最快的方法就是调整-Xmx参数,增加堆的大小。
调整JVM参数: -Xms64M -Xmx1024M -XX:+PrintGCDetails -Xloggc:/apps/logs/heap_demo.log


image.png

image.png

虽然通过调整-Xmx参数解决了上面OutOfMemoryError的问题,但是如果DB的数据突然暴涨到5G、50G、500G的时候,还是会出现OutOfMemoryError。此时通过调整-Xmx参数就不合适了,先不说机器有没有这么大的内存分配,就算机器的内存够分配,Full GC导致程序停顿的时间也会很长。因此我们要从代码下手,分批次处理数据,“小步快跑”,将5G的数据拆分成10个批次,50G的数据拆分成100个批次,500G的数据拆分成1000个批次,每个批次处理500M的数据,一个批次处理完后内存回收。这样的话就不用再担心突然暴涨的数据量导致程序OutOfMemoryError。

2、java.lang.OutOfMemoryError: Metaspace
JDK1.7中,存储在永久代的部分数据就已经转移到了Java Heap或者是 Native Heap,譬如符号引用(Symbols)转移到了native heap;字面量(interned strings)转移到了java heap;类的静态变量(class statics)转移到了java heap。但永久代仍存在于JDK1.7中,并没完全移除。
JDK 8.HotSpot JVM使用本地化的内存存放类的元数据,这个空间叫做元空间(Metaspace)。官方定义:"In JDK 8, classes metadata is now stored in the native heap and this space is called Metaspace"。元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。因此,默认情况下,元空间的大小仅受本地内存限制,但可以通过以下参数来指定元空间的大小:-XX:MetaspaceSize、-XX:MaxMetaspaceSize。
测试代码:

public class MetaspaceOutOfMemory {

  public static void main(String[] args) throws Exception {
    ClassPool cp = ClassPool.getDefault();
    for (int i = 0;; i++) {
        cp.makeClass("com.demo.MetaspaceClass" + i).toClass();
        Thread.sleep(1);
    }
  }
}

JVM参数:-XX:MetaspaceSize=32m -XX:MaxMetaspaceSize=64m -Xloggc:/apps/logs/heap_demo.log
打开VisualVm工具,可以发现Metaspace使用的空间大小随类装入的数量增加而增加,这也说明了Metaspace是用来存放类的元数据的。


image.png
image.png

image.png

3、java.lang.OutOfMemoryError: PermGen space
修改JVM参数为:-XX:PermSize=32M -XX:MaxPermSize=64M -Xloggc:/apps/logs/heap_demo.log,切换到JDK7下运行MetaspaceOutOfMemory。打开VisualVm工具,此时出现了PermGen标签页。随着类装载的数量增加,最终出现了java.lang.OutOfMemoryError: PermGen space,进程退出。


image.png

image.png

image.png

4、java.lang.OutOfMemoryError: GC overhead limit exceeded
GC overhead limt exceed检查是Hotspot VM 1.6定义的一个策略,通过统计GC时间来预测是否要OOM了,提前抛出异常。官方定义是:“并行/并发回收器在GC回收时间过长时会抛出OutOfMemroyError。过长的定义是,超过98%的时间用来做GC并且回收了不到2%的堆内存"。JVM默认启动的时候-XX:+UseGCOverheadLimit,即启用了该特性。
测试程序:

public class GCOverheadLimit {
  public static void main(String[] args) {
    List list = new ArrayList();
    String str = "1";
    for (int i = 0; i < 1000000; i++) {
        for (int j = 0; j < 100; j++) {
            str += "$" + i;
        }
        list.add(str);
    }
  }
}

JVM参数:-Xms64M -Xmx128M -XX:+UseGCOverheadLimit
运行结果:


image.png

最近项目有一个程序,因为频繁Full GC导致程序僵死现象,一致耗着,如果加上-XX:+UseGCOverheadLimit参数就可以让程序提前退出,避免僵死程序长期占用资源。

5、java.lang.OutOfMemoryError: unable to create new native thread
如果JVM正在请求操作系统创建一个本地线程,而操作系统无法创建的时候,就会出现这个报错信息。JVM中可以生成的最大线程数量由JVM的堆内存大小、Thread的Stack内存大小、系统最大可创建的线程数量(Java线程的实现是基于底层系统的线程机制来实现的,Windows下_beginthreadex,Linux下pthread_create)三个方面影响。
6、java.lang.OutOfMemoryError: Requested array size exceeds VM limit
当你正准备创建一个超过虚拟机允许的大小的数组时,这条错误就会出现在你眼前。64位的操作系统上,JDK7,如果数组的长度是Integer.MAX_VALUE-1,就会出现。

 byte a[] = new byte[Integer.MAX_VALUE-1];

7、java.lang.OutOfMemoryError: request bytes for . Out of swap space?
这个错误是当虚拟机向本地操作系统申请内存失败时抛出的。这和你用完了堆或者持久化中的内存的情况有些不同。这个错误通常是在你的程序已经逼近平台限制的时候产生的。这个信息告诉你的是你可能已经用光了物理内存以及虚拟内存了。由于虚拟内存通常是用磁盘作为交换分区,因此你最先想到的解决方法可能是先增加交换分区的大小。不过我从没见过一个程序在频繁进行内存交换还能正常运行的,所以这个方法可能不会起到什么作用。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容