上一篇介绍了ByteBuffer和ByteBuf结构,Bytebuf提供接口方法要比ByteBuffer简洁并强大。这篇在ByteBuf基础上学习下主要的ByteBuf,包括:poolHeapByteBuff、pooledDirectByteBuf、UpooledHeapByteBuf、UnpooledDirectByteBuf。
堆缓冲区(HeapByte)
是将数据存储在JVM堆空间中,特点是在内存的分配和回收速度快,可以被JVM自动回收,缺点是如果进行socket的I/O读写,需要额外一次内存复制,将堆内存对应的缓冲区复制到内核Channel中,性能会有一定程度下降。
直接内存(DirectByte)
非堆内存,在堆外进行内存分配,相比于堆内存,分配和回收速度会慢一些,但将它写入或从socket channel中读取时,由于少一次内存复制,速度比堆内存快。
通常在I/OI/O通信线程的读写缓冲区使用DirectByteBuf,后端业务消息的编解码模块使用HeapByteBuf,可以达到很好的性能效果。
从内存回收角度看,ByteBuf分为两类:基于pooled的和普通的ByteBuf。两者的区别是基于pooled的ByteBuf可以重复利用,自己维护一个内存池,可以循环利用创建的ByteBuf,提升内存使用效率,降低由于高负载导致的频繁GC。
主要ByteBuf介绍
UnpooledHeapByteBuf
基于堆内存进行内存分配的字节缓冲区,没有基于对象池技术实现,每次I/O读写都会创建一个新的UnpooledHeapByteBuf,频繁进行大内存分配和回收,但相比于堆外内存申请和释放,成本要低一些。接下来学习下UnpooledHeapByteBuf的capacity方法
1、ensureAccessible 通过buf引用计数判断当前buf是否可用
2、判断buf空间是否可用
1)、 如果新的容量值是否小于0或大于最大容量,如果满足,抛异常。
2)、如果新的容量大于旧的容量,创建新的buf,通过system.arraycopy将旧值拷贝到新buf中。
3)、如果新容量小于旧容量,不需要动态扩容,需要截取当前缓冲区创建一个新的子缓冲区。首先判断下读索引是否小于新的容量值,如果是再判断写索引是否大于新容量值,如果大于则将写索引设置为新的容量值。然后通过内存复制system.arraycopy将当前可读字节数组复制到新创建的自缓冲区。如果新容量小于读索引,说明没有可读的字符数组需要复制到新创建到缓冲区中,将读写索引设置为新到容量即可。
pooledHeapByteBuf
查看源码后,发现pooledHeapByteBuf在AbstractReferenceCountedByteBuf基础上引入了PoolChunk。
poolChunk中有引入PoolArena类
poolArena类分为:heapPoolArena和DirectPoolArena两种
PoolArena
为了集中管理内存的分配和释放,提高分配和释放内存性能,Netty通过PoolArena预先申请一大块内存,然后通过提供相应分配和释放接口来使用内存,不用频繁使用系统调用申请和释放内存,提高应用系统性能。
Netty中的PoolArena是由多个Chunk组成的大块内存区域,每个Chunk由一个或多个Page组成。
在Arena申请分配内存时,先判断确定容量,在容量小于目前pagesize时。如果Chunk可用内存足够,对chunk进行内容划分,否则进行重新分配。
poolChunk
Chunk主要用来管理和组织多个Page的内存分配和释放,Chunk中page被构建成一棵二叉树。假设一个Chunk由16个page组成,那么这些page会被按照如下二叉树组织起来。每个page大小是4字节,chunk大小是4*16 64字节。每个节点都会记录自己在整个Arena中偏移地址,当一个节点所代表内存区域被分配出去,这个节点会被标记为已分配,这个节点在后面的分配请求中会被忽略。
poolSubPage
对于小于一个page的内存,netty在page中完成分配。每个page会被切分为大小相等的多个存储块,切分的大小是由第一次申请内存块大小决定。这种方式节省来内存,支持多种内存容量。
内存回收策略
无论是在chunk或page,都通过状态位标识内存是否可用,不同之处是chunk通过在二叉树上对节点进行标示,page是通过维护块的使用状态标标识。
对于Pool内存使用者来说,不需要关心内存池实现细节,由底层接口实现内存的释放的回收。
DirectByteBuf
该方法类似于HeapByteBuff,只是分配内存调用方法不同,不再次展开介绍了。
总结
本文针对Netty中bytebuf的heap和Direct及是否pooled进行了介绍。在实践中如果业务应用是I/O密集型,使用DirectByteBuf实现。而针对于运算密集型,比如tomcat等推荐使用heapByteBuf。