Netty系列-Bytebuf中pool、unpool、heap、Direct类型结构秒懂

        上一篇介绍了ByteBuffer和ByteBuf结构,Bytebuf提供接口方法要比ByteBuffer简洁并强大。这篇在ByteBuf基础上学习下主要的ByteBuf,包括:poolHeapByteBuff、pooledDirectByteBuf、UpooledHeapByteBuf、UnpooledDirectByteBuf。

图-ByteBuf主要实现类图

    堆缓冲区(HeapByte)

        是将数据存储在JVM堆空间中,特点是在内存的分配和回收速度快,可以被JVM自动回收,缺点是如果进行socket的I/O读写,需要额外一次内存复制,将堆内存对应的缓冲区复制到内核Channel中,性能会有一定程度下降。

    直接内存(DirectByte)

        非堆内存,在堆外进行内存分配,相比于堆内存,分配和回收速度会慢一些,但将它写入或从socket channel中读取时,由于少一次内存复制,速度比堆内存快。

        通常在I/OI/O通信线程的读写缓冲区使用DirectByteBuf,后端业务消息的编解码模块使用HeapByteBuf,可以达到很好的性能效果。

        从内存回收角度看,ByteBuf分为两类:基于pooled的和普通的ByteBuf。两者的区别是基于pooled的ByteBuf可以重复利用,自己维护一个内存池,可以循环利用创建的ByteBuf,提升内存使用效率,降低由于高负载导致的频繁GC。

     主要ByteBuf介绍

     UnpooledHeapByteBuf

        基于堆内存进行内存分配的字节缓冲区,没有基于对象池技术实现,每次I/O读写都会创建一个新的UnpooledHeapByteBuf,频繁进行大内存分配和回收,但相比于堆外内存申请和释放,成本要低一些。接下来学习下UnpooledHeapByteBuf的capacity方法

图-UnpooledHeapByteBuf capacity方法

                1、ensureAccessible 通过buf引用计数判断当前buf是否可用

                2、判断buf空间是否可用

                1)、    如果新的容量值是否小于0或大于最大容量,如果满足,抛异常。

                2)、如果新的容量大于旧的容量,创建新的buf,通过system.arraycopy将旧值拷贝到新buf中。

                3)、如果新容量小于旧容量,不需要动态扩容,需要截取当前缓冲区创建一个新的子缓冲区。首先判断下读索引是否小于新的容量值,如果是再判断写索引是否大于新容量值,如果大于则将写索引设置为新的容量值。然后通过内存复制system.arraycopy将当前可读字节数组复制到新创建的自缓冲区。如果新容量小于读索引,说明没有可读的字符数组需要复制到新创建到缓冲区中,将读写索引设置为新到容量即可。

      pooledHeapByteBuf

         查看源码后,发现pooledHeapByteBuf在AbstractReferenceCountedByteBuf基础上引入了PoolChunk。

图-PoolByteBuf类图

        poolChunk中有引入PoolArena类

图-PoolChunk

    poolArena类分为:heapPoolArena和DirectPoolArena两种

图-PoolArena实现类

     PoolArena

        为了集中管理内存的分配和释放,提高分配和释放内存性能,Netty通过PoolArena预先申请一大块内存,然后通过提供相应分配和释放接口来使用内存,不用频繁使用系统调用申请和释放内存,提高应用系统性能。

        Netty中的PoolArena是由多个Chunk组成的大块内存区域,每个Chunk由一个或多个Page组成。

图-Arena 申请分配内存方法

        在Arena申请分配内存时,先判断确定容量,在容量小于目前pagesize时。如果Chunk可用内存足够,对chunk进行内容划分,否则进行重新分配。

      poolChunk

        Chunk主要用来管理和组织多个Page的内存分配和释放,Chunk中page被构建成一棵二叉树。假设一个Chunk由16个page组成,那么这些page会被按照如下二叉树组织起来。每个page大小是4字节,chunk大小是4*16 64字节。每个节点都会记录自己在整个Arena中偏移地址,当一个节点所代表内存区域被分配出去,这个节点会被标记为已分配,这个节点在后面的分配请求中会被忽略。

图-Chunk数据结构

     poolSubPage

        对于小于一个page的内存,netty在page中完成分配。每个page会被切分为大小相等的多个存储块,切分的大小是由第一次申请内存块大小决定。这种方式节省来内存,支持多种内存容量。

内存回收策略

        无论是在chunk或page,都通过状态位标识内存是否可用,不同之处是chunk通过在二叉树上对节点进行标示,page是通过维护块的使用状态标标识。

        对于Pool内存使用者来说,不需要关心内存池实现细节,由底层接口实现内存的释放的回收。

    DirectByteBuf

       该方法类似于HeapByteBuff,只是分配内存调用方法不同,不再次展开介绍了。

    总结

      本文针对Netty中bytebuf的heap和Direct及是否pooled进行了介绍。在实践中如果业务应用是I/O密集型,使用DirectByteBuf实现。而针对于运算密集型,比如tomcat等推荐使用heapByteBuf。    

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容