C++内存池原理及设计

参考博客https://www.ibm.com/developerworks/cn/linux/l-cn-ppp/index6.html

1、默认的内存管理函数的不足

  • malloc/free 和 new/delete 在堆上申请和释放内存都有一定的额外开销
  • 开销来自维护 内存空闲块表
  • malloc和new 申请堆内存时,首先查找内部维护的内存空闲块表,并且需要根据一定的算法(例如分配最先找到的不小于申请大小的内存块给请求者,或者分配最适于申请大小的内存块,或者分配最大空闲的内存块等)找到合适大小的空闲内存块。如果该空闲内存块过大,还需要切割成已分配的部分和较小的空闲块。然后系统更新内存空闲块表,完成一次内存分配。
  • 类似地,在free和delete释放内存时,系统把释放的内存块重新加入到空闲内存块表中。如果有可能的话,可以把相邻的空闲块合并成较大的空闲块。
  • 默认的内存管理函数还考虑到多线程的应用,需要在每次分配和释放内存时加锁,同样增加了开销。
  • 可见,如果应用程序频繁地在堆上分配和释放内存,则会导致性能的损失。并且会使系统中出现大量的内存碎片降低内存的利用率
  • 默认的分配和释放内存算法自然也考虑了性能,然而这些内存管理算法的通用版本为了应付更复杂、更广泛的情况,需要做更多的额外工作。而对于某一个具体的应用程序来说,适合自身特定的内存分配释放模式的自定义内存池则可以获得更好的性能

2、内存池的定义

  • 应用程序可以通过调用系统的内存分配函数预先一次性申请适当大小的内存作为一个内存池,并为这个内存池类或结构体定义一些分配和释放内存块的成员函数
  • 之后应用程序自己对内存的分配和释放则可以通过这个内存池类及其成员函数来完成。
  • 只有当内存池大小需要动态扩展时,才需要再调用系统的内存分配函数,其他时间对内存的一切操作都在应用程序的掌控之中。

3、内存池的分类

1)从线程安全角度分为单线程内存池和多线程内存池
  • 单线程内存池整个生命周期只被一个线程使用,因而不需要考虑互斥访问的问题。
  • 多线程内存池有可能被多个线程共享,因此则需要在每次分配和释放内存时加锁
  • 相对而言,单线程内存池性能更高,而多线程内存池适用范围更广
2)从内存池可分配内存单元大小来分为固定内存池和可变内存池
  • 固定内存池是指应用程序每次从内存池中分配出来的内存单元大小事先已经确定,是固定不变的;维护起来方便,性能更高。
  • 而可变内存池则每次从内存池中分配出来的内存单元大小可以按需变化,应用范围更广,而性能比固定内存池要低。

4、固定内存池工作原理

  • 固定内存池由一系列固定大小的内存块组成,每一个内存块又包含了固定数量和大小的内存单元


上图中,内存池=4个内存块一个内存块=块头+3个内存单元

  • 在内存池初次生成时,只向系统申请了一个内存块,返回的指针作为整个内存池的头指针。之后随着应用程序对内存的不断需求,内存池判断需要动态扩大时,才再次向系统申请新的内存块,并把所有这些内存块通过指针链接起来
    对于操作系统来说,它已经为该应用程序分配了4个等大小的内存块。由于是大小固定的,所以分配的速度比较快;而对于应用程序来说,其内存池使用了一定大小的内存单元,内存池内部却还有剩余的空间。
  • 例如放大来看第4个内存块,其中包含一部分内存池块头信息和3个大小相等的内存单元。单元1和单元3是空闲的,单元2已经分配。当应用程序需要通过该内存池分配一个单元大小的内存时,只需要简单遍历所有的内存池块头信息快速定位到还有空闲单元的那个内存池块
    【注意】:不需要遍历每个内存单元,各个内存块的块头信息中会记录本内存块中管理的内存单元的整体情况。
    然后根据该块的块头信息直接定位到第1个空闲的单元地址,把这个地址返回,并且标记下一个空闲单元即可;当应用程序释放某一个内存池单元时,直接在对应的内存池块头信息中标记该内存单元为空闲单元即可。
与系统内存管理相比,内存池的操作非常迅速,性能优化方面的优点如下:

(1)针对特殊情况,例如需要频繁分配释放固定大小的内存对象时,不需要复杂的分配算法和多线程/多进程保护(系统内存管理一直会加锁解锁)。也不需要维护内存空闲表的额外开销,只需维护简单的内存池块头信息,从而获得较高的性能。
(2)由于开辟一定数量的连续内存空间作为内存池块,因而一定程度上提高了程序局部性和数据访问的速度,提升了程序性能。
(3)比较容易控制页边界对齐和内存字节对齐,没有内存碎片的问题

5、一个单线程的固定内存池的实现

  • 这是一个应用于单线程环境且分配单元大小固定的内存池,一般用来为执行时会动态频繁地创建且可能会被多次创建的类对象或者结构体分配内存。

  • 本节首先讲解该内存池的数据结构声明及图示,接着描述其原理及行为特征。然后逐一讲解实现细节,最后介绍如何在实际程序中应用此内存池,并与使用普通内存函数申请内存的程序性能作比较。


    内存池数据结构

    内存池类MemoryPool的声明如下:

class MemoryPool
{
private:
    MemoryBlock*   pBlock;            //内存池中内存块链表的头指针
    USHORT          nUnitSize;        //内存块中每个内存单元的字节大小
    USHORT          nInitSize;        //第一个内存块内存单元的个数
    USHORT          nGrowSize;        //后面要增加的内存块的内存单元的个数
 
public:
                     MemoryPool( USHORT nUnitSize,
                                  USHORT nInitSize = 1024,
                                  USHORT nGrowSize = 256 );  
                    ~MemoryPool();    //都是函数原型声明,在类外具体实现
 
    void*           Alloc();        //实际的给程序分配内存单元的接口函数
    void            Free( void* p );    //实际的程序释放归还内存单元给内存池的接口函数
};

MemoryBlock为内存池中附着在真正用来为内存请求分配内存的内存块头部的结构体,它描述了与之联系的内存块的使用信息:

struct MemoryBlock
{
    USHORT          nSize;    //本内存块中内存单元的总字节大小
    USHORT          nFree;    //本内存块中空闲的内存单元个数
    USHORT          nFirst;   //本内存块中下一个可用的空闲内存单元下标位置
    USHORT          nDummyAlign1; //虚设的用于字节对齐的2字节,没实际用处
    MemoryBlock*  pNext;    //内存块链表的下一个指针
    char            aData;    //实际内存单元开始的1字节,给出首地址,
            //后面个内存单元地址都在此字节地址基础上加上偏移量(nFirst*nUnitSize)    
 
    //重载new操作符
    static void* operator new(size_t size, USHORT nTypes, USHORT nUnitSize)
    {
        size = sizeof(MemoryBlock) + nTypes * nUnitSize;
        return ::operator new(size);    //调用原始operator new 只分配空间
    }
    static void  operator delete(void *p)
    {
        ::operator delete (p);    //  释放对应的operator new 的空间
    }
 
    MemoryBlock (USHORT nTypes = 1, USHORT nUnitSize = 0);  //nTypes为内存单元个数
    ~MemoryBlock() {}      //内存块不做析构释放内存,交给内存池统一管理
};
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容

  • 1. 基础知识 1.1、 基本概念、 功能 冯诺伊曼体系结构1、计算机处理的数据和指令一律用二进制数表示2、顺序执...
    yunpiao阅读 5,244评论 1 22
  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,082评论 1 32
  • 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 29,292评论 8 265
  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,169评论 11 349
  • 天冷好过年! 2010-02-10 15:38 阅读(70)评论(18) 一连暖和了好几天,昨天白天下了一点小雨,...
    零星往事阅读 197评论 0 0