PUPPET使用(一)

目前产线服务器数量大约高峰在1.6-1.8W台VM+BM,平时在1.2W左右, 批量同步的时候会发生非常严重的惊群效应,有时候一台主机可能6小时都不会成功同步一次,可以做一些调整避免类似情况。

版本

之前产线使用的是puppet3,相比之前puppet2来说性能已经提高了50%,但在使用过puppet4之后只能感叹4真香,更别提现在的5了,所以选择puppet的时候尽量还是选择高版本的puppet,虽然客户端性能提高不大,但master端还是提高的非常给力的。

并发

但即使选择了高版本的puppet,也不过是提高了单个进程的性能,ruby默认的webrick http 实在不适合产线的使用,所以为了使puppet 可以在单台主机上实现高并发,可以使用ruby的passenger ,这个类似python的uwsgi,在配合Nginx,可以使单台master的性能得到充分利用。

  • 安装

由于当前环境不通外网,可以在GEM上下载好包,再进行安装,版本根据自己的puppet&&ruby相关依赖找一下即可

gem local install rake rack passenger

nginx安装可以使用passenger-install-nginx-module ,不过建议还是源码安装,

cat /opt/nginx/conf/nginx.conf
passenger_root /usr/lib/ruby/gems/1.8/gems/passenger-4.0.19; #指定passenger的root目录,可以使用passenger-config –root得到
passenger_ruby /usr/bin/ruby;  #指定ruby命令的执行路径
passenger_max_pool_size 15;    #定义puppetmaster动态调用的最大进程数量
proxy_buffer_size 4000k; 
proxy_buffering on; 
proxy_buffers 32 1280k; 
proxy_busy_buffers_size 17680k; 
client_max_body_size 10m; 
client_body_buffer_size 4096k; 
server { 
   listen           8140 ssl; #由于puppet通信使用的是ssl,所以此处必须定义ssl 
   server_name      puppet.node.kddi.op.xywy.com;  #puppet服务器的主机名
   root         /etc/puppet/rack/public;  #nginx和passenger的协作目录
   access_log       /data/logs/nginx/proxy.puppet-access.log; 
   error_log        /data/logs/nginx/proxy.puppet-error.log; 
   passenger_enabled on;    #启用passenger模式
   passenger_set_cgi_param    HTTP_X_CLIENT_DN $ssl_client_s_dn; #标记client 请求时提供的dn和 VERIFY,用于传递到puppet  
   passenger_set_cgi_param    HTTP_X_CLIENT_VERIFY $ssl_client_verify; 
#ssl 证书的相关配置
   ssl_session_timeout  5m; 
   ssl_certificate /var/lib/puppet/ssl/certs/puppet.node.kddi.op.xywy.com.pem; 
   ssl_certificate_key /var/lib/puppet/ssl/private_keys/puppet.node.kddi.op.xywy.com.pem; 
   ssl_client_certificate  /var/lib/puppet/ssl/certs/ca.pem; 
   ssl_crl      /var/lib/puppet/ssl/ca/ca_crl.pem; 
   ssl_ciphers      SSLv2:-LOW:-EXPORT:RC4+RSA; 
   ssl_prefer_server_ciphers on; 
   ssl_verify_depth     1; 
   ssl_session_cache    shared:SSL:128m; 
   ssl_verify_client optional; 
} 

横向扩展就是在多个passenger+puppet 前面加个SLB,这个就不再说了,太基本了

配置

上面提到的惊群效应,客户端也可以通过一些配置进行修改,puppet默认的同步周期是半小时,可以根据时间修改,修改后可以在每次同步时间后加个随机数,在随机数内进行同步,避免大并发在同一个时间内进行同步而导致的失败

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容

  • Puppet理论定义: Puppet 是一个跨平台的集中化配置管理系统,它使用自有的描述语言,可管理配置文件、用户...
    属于你的世界阅读 946评论 0 2
  • Puppet的基本概念Puppet的资源Puppet的资源类型Puppet的变量Puppet的流程控制语句Pupp...
    哈喽别样阅读 537评论 0 3
  • Puppet模块Puppet部署master/agent模式Puppet多环境配置Puppet kick机制 一、...
    哈喽别样阅读 464评论 0 1
  • puppet简介 puppet是一套IT基础设施自动化管理工具,可以管理其整个生命周期,其官方网站:www.pup...
    魏镇坪阅读 3,885评论 0 5
  • 01 据七七说,我是一只猫。 “什么是猫?” “你这样的东西,就是猫。” “那你呢?”我问他。 “我当然是人。” ...
    Qiffon妙香川阅读 158评论 0 4