KVM性能优化之内存篇

kvm内存优化:

EPT 技术

​ 在虚拟化环境下,intel开创的硬件辅助内存虚拟化技术。即扩展页表EPT,而AMD也有类似的成为NPT。在此之前,内存虚拟化使用的一个重要技术为影子页表。(影子页表采用的是一步到位式,即完成客户机虚拟地址GVA到宿主机物理地址HPA的转换,由VMM为每个客户机进程维护。)

​ 在虚拟化环境下,正常访问内存流程:GVA-->GPA-->HPA。

​ 有了EPT技术,那么能够将虚拟机的物理地址直接翻译为宿主机的物理地址,从而把后面那个转换过程去掉了,增加了效率。

那么这项技术,现在的服务器都支持,只要在BIOS打开了intel 的VT设置,那么这个也一起打开了。

大页和透明大页

大页:指的是内存的大页面。

小页面:当初这个机制提出的时候,计算机的内存大小也就几十M,所以当时内存默认的页面大小都是4KB,那么这个4KB 也就是所谓的小页面。随着计算机的硬件发展,内存基本都是大容量的,操作系统如果还是小页存在,那么将会产生较多的TLB Miss和缺页中断,从而大大影响性能。

​ 为什么小页就存在较多的Miss和缺页中断呢?比如说系统里的一个应用程序需要2MB的内容,如果操作系统还是以4KB小页为单位,那么内存里就要有512个页面(512*4KB=2M),所以在TLB里就需要512个表项以及512个页表项,因此操作系统就要经历512次的TLB miss和512次的缺页中断才能将2MB的应用程序空间全部映射到物理内存里。想想,2MB内存的需要就要经历512次的操作,如果内存需求大呢?必然操作数量会大大增加,从而间接的影响性能。(Translation Lookaside Buffer的缩写,虚拟寻址的缓存,用于虚拟地址与实地址之间的交互,提供一个寻找实地址的缓存区,能够有效减少寻找物理地址所消耗时间。)

​ 如果把这个4KB变成2MB呢?那就很轻松了,一次TLB Miss和缺页中断操作就完成了,大大的增加了效率。

​ 所以,虚拟机可以通过分配巨型页也就是刚才说的大页来提高运行性能。

具体怎么操作呢?

如何把这个4KB的小页变成2MB甚至1GB的大页,然后把这个大页赋给虚拟机使用?

通过命令 cat /proc/meminfo | grep HugePages 查看当前系统有多少个大页。

运行 echo 2000 > /proc/sys/vm/nr_hugepages

永久生效 :sysctl -w vm.nr_hugepages=2000

把大页进行挂载:

mount -t hugetlbfs hugetlbfs /dev/hugepages

这个hugetlbfs 是一种特殊文件系统,那至于为什么采用这样的文件系统是因为这样花费的代价小。

那么通过这几步操作,开启->设置大页数量->挂载, 那么宿主机这块就没什么问题了。

如果我们KVM里面的某个虚拟机要使用宿主机的大页,那么我们还得做如下操作:

  1. 重启下libvirtd服务;
  2. 虚拟机也开启透明巨型页;
  3. 关闭虚拟机编辑虚拟机XML设置虚拟机可以使用宿主机的巨型页数量

libvirtd服务重启:systemctl restart libvirtd.service;

编辑虚拟机XML文件,让它使用宿主机的大页,使用virsh edit vmname 命令修改;

在宿主机运行 cat /proc/meminfo | grep -i HugePages 查看下大页的使用情况;

注意这个虚拟机的内存是2G的配置,发现hugepages_free已经变成了912个了,那么使用了2000-912=1088 个;那么2*1088=2176M 正好跟虚拟机内存的大小2G差不多。

那么要让大页同时让多个虚拟机享用,有以下两步要做:

  1. 给NUMA 各个node节点分配多个2MB或者1GB的大页;

  2. 编辑虚拟机xml文件以使用node里分配好的大页。

    给宿主机各个NUMA Node分配大页:

   #echo 4 > /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages
   #echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

这两个命令的意思就是先给node0里分配4个1GB的大页,然后再给node1分配1024个2MB的大页。

然后执行相关挂载操作,这跟刚才我们做的操作类似:

# mkdir /dev/hugepages1G

# mount -t hugetlbfs -o pagesize=1G none /dev/hugepages1G

# mkdir /dev/hugepages2M

# mount -t hugetlbfs -o pagesize=2M none /dev/hugepages2M

挂载成功后,重启下libvirtd服务,然后虚拟机就可以使用了,但是这里要注意的是,1GB的大页,虚拟机是不能直接使用的,需要在XML里指定。

那么怎么指定? 我们目前宿主机NUMA node1和node2里面分别有4个1GB的和1024个2MB的大页。因此,只要跑在这两node上的虚拟机都可以享用了。

  比如刚才我们那虚拟机,我们要让它使用1GB的大页,我们只需要在XML里这样定义

<memoryBacking>

      <hugepages/>

          <page size="1" unit="G" nodeset="0-3,5"/>

          <page size="2" unit="M" nodeset="4"/>

      </hugepages>

</memoryBacking>

   红色的部分就是要添加的参数,size是1,表示第一个使用的page;然后单位unit是G,nodeset="0-3,5" 意思是虚拟机的NUMA node0,node1, node2 , node3和node5将使用1GB的大页 ; 虚拟机的node4将用2MB的大页。
  注意,这里的nodeset指的是虚拟机的节点,同时还要注意的是,如果宿主机大页面不够用了,你这样配置了,虚拟机是会起不来的。
  以上就是给虚拟机分配大页的方法。当然如果你想把宿主机的大页关闭,只要执行:

  # sysctl vm.nr_hugepages=0

  # umount hugetlbfs

透明大页

​ 从Centos6开始,linux系统自带了一技术叫透明巨型页(transparent huge page),它允许所有的空余内存被用作缓存以提高性能,而且这个设置是默认开启的。

cat /sys/kernel/mm/transparent_hugepage/enabled 可以查看。

我们看到这个中括号把这个always括起来了,说明这机器的透明巨型页的功能是打开的。当有512个页面可以整合的时候,就会合成一个2MB的大页;

如果是在括号把never括起来了,那么就是关闭状态;

madvise的话就是避免改变内存占用。

下面命令是关闭巨型页:

 echo never >/sys/kernel/mm/transparent_hugepage/enabled

最后要注意的是透明巨型页跟刚才我们说的hugetlbfs 文件挂载大页是不冲突的,如果你没做任何大页的指定和挂载,那么KVM就会使用透明大页的方式。

那么说到这,大家就会疑问,既然有透明大页,我为何还要费劲的去做相关大页的指定? 其实这两种方式都差不多,区别就是一个是手动的一,个是自动的。如果你对你宿主机资源把握的更加精准,推荐的还是手动指定。

KSM 技术

​ KSM(Kernel SamePage Merging),也就是所谓的相同页面内存压缩技术

KSM服务在linux系统里默认是开启的,它的作用就是让内存利用的更加高效,如果多个程序中用的内存都是相同的页面,那么KSM就会把相同的内存合并,这样就能腾出更多的空间。

KSM在系统里有个守护进程,它的作用就是不断的扫描宿主机的内存情况,检测有相同的页面就会合并,当然这或多或少会消耗点CPU。

​ 如果你的环境,内存资源比较丰富,建议这个功能开不开启都无所谓;如果不够,又想跑多一点的虚拟机,那么可以打开这个功能,但是你一定要清楚,这个是一种内存超用的方案,假如你的大部分虚拟机内存变化比较频繁(比如内存使用率一下高,一下低),那么不建议开启,因为内存不够了,就会用到swap,那么这个会严重影响虚拟机性能。

首先是开关KSM服务

 systemctl start|stop ksmd

 systemctl start|stop ksmtuned 

 systemctl enable|disable ksmd

 systemctl enable|disable ksmtuned

其次是在宿主机KSM服务打开的情况下,如果不想让虚拟机受宿主机KSM的影响,那么可以这么操作:
编辑虚拟机的XML文件,添加:

<memoryBacking>

    <nosharepages/>

 </memoryBacking>

这样,这个KSM就不会去合并这个虚拟机的内存了

总的来说,用不用KSM视你自己的生产环境具体情况而定。

内存限制技术

通过虚拟机内存限制,可以让虚拟机的内存使用限制在一定范围内。

​ 比如你的一台KVM宿主机,里面跑着多个业务的虚拟机,有的虚拟机业务比较大,吃得内存多,有的业务比较低,用不了多少内存,那么我们可以通过内存限制技术来手动调节宿主机的内存分配。

​ 使用这个必须对你虚拟化环境特别清楚,比如宿主机平时的负载情况以及各个虚拟机的负载情况。

通过memtune命令或者通过改虚拟机的XML文件来设定内存的限制.

 hard_limit:强制设置虚拟机最大使用内存,单位为KB
 
 soft_limit:可用最大内存,单位为KB
 
 swap_hard_limit:虚拟机最多使用的内存加上swap的大小,单位为KB
 
 min_guarantee:强制设置虚拟机最低使用的内存,单位为KB

最后一个参数虽然OPTIONS里有列出,但是实测是发现CentOS7.0 以上系统不能支持,执行的时候会报下面这样的错误: ​

还可以通过修改XML的方式来现在虚拟机的内存。
我们在XML里添加下面这个配置即可:

  <memtune>
 
       <hard_limit unit='KiB'>9437184</hard_limit>
 
       <soft_limit unit='KiB'>8388608</soft_limit>
 
       <swap_hard_limit unit='KiB'>10485760</swap_hard_limit>
 
  </memtune>

以上几点就是KVM在内存方面的优化设置,大家要根据自己的生产环境情况,去做相关的调试.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,552评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,666评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,519评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,180评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,205评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,344评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,781评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,449评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,635评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,467评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,515评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,217评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,775评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,851评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,084评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,637评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,204评论 2 341