Jenkins高可用方案汇总

前言

现在的企业很多都在用Jenkins做持续集成,各个业务端都依靠Jenkins,部署Jenkins服务时如何保障服务的高可用变得尤为重要。以下是最近收集的一些方案。

Gearman + Jenkins

这是openstack团队使用的方案,Jenkins本身是单体的,即只能有一个Jenkins Master。虽然你也可以在多台机器上部署多个Jenkins Master,但这些Master之间没有联系,都是各自把任务交给手下的slaver去执行,没有任何交集。也许某个master下的slaver很忙,而另一个master下的slaver却很闲,资源得不到充分利用。这个方案使用了gearman, gearman是个任务分发框架。

需要在每个Master上安装好gearman的插件,并配置好能连接到gearman server,同时在每个Master必须建立相同的job。之后运行任务的流程如下:

1、gearman worker运行在各个Jenkins Master中等待gearman server分发任务;

2、gearman client向gearman server发出运行job的请求;

3、gearman server通知各个gearman worker有任务拉,第一个闲着的worker会接受任务,如果所有的worker都忙,则放入gearman的任务队列,得worker空闲时再分配;

4、gearman worker闲下来后会从任务队列里取job来执行,执行完之后,将结果发回给gearman server;

5、gearman server将结果返回给 gearman client。

这样各个salver资源可以得到充分利用,某个master挂掉另外的master可以继续服务。

详细信息可参考gearman插件说明

Jenkins + Apache Mesos + Marathon

Apache Mesos是一个开源的资源管理和调度平台。大概的架构就是一个Mesos Master下面挂着多个mesos slaver资源。 Marathon是一个mesos框架。

Marathon将Jenkins master部署在mesos资源池中。将Jenkins注册为mesos的framework,则在jenkins构建时,会向mesos申请资源,申请资源成功,则执行构建,执行任务结束则将资源释放。

如果Marathon监测到Jenkins应用挂了,会马上使用Mesos资源重新启动Jenkins。所以Jenkins可能被部署在mesos资源的各个slaver机器。

那怎么保证数据一致呢?这个可以使用Jenkins插件SCM Sync configuration plugin。安装此插件后,Jenkins的各种配置有更改时,都会将修改提交到相应的Git库。保证所有的配置信息不会丢失,当Jenkins重新在别的机器上启动后, 从git上将配置下载下来,这样就保证数据一致了。

详细信息可参看如何搭建弹性高可用的持续集成环境

改造Jenkins的文件存储方式

目前Jenkins的配置文件都是直接在硬盘上以文件形式存储的,你在JENKINS_HOME的个文件夹下能看到各种.xml文件。有些公司在Jenkins上进行二次开发,将Jenkins的数据存储方式改为数据库存储,这样前端可以起多个Jenkins服务,后端连相同的数据库即可。数据库也有比较成熟的高可用方案。

最简单的Jenkins一主一备模式

平时让Jenkins A机器提供服务,并使用SCM Sync configuration plugin保存数据,JenkinsA机器修改配置后触发Jenins B更新配置,一旦Jenkins A出现问题挂掉后,切换到备机Jenkins B上。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,670评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,928评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,926评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,238评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,112评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,138评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,545评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,232评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,496评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,596评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,369评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,226评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,600评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,906评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,185评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,516评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,721评论 2 335

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,497评论 18 139
  • 概述 持续集成的速度是衡量一个团队敏捷水平的核心指标之一,CI也需要持续升级。 CI1.0 单机,集中式,只有一台...
    真徐小白阅读 3,430评论 1 19
  • 摘要 为了满足渲染、基因测序等计算密集型服务的需求,UCloud 已推出了“计算工厂”产品,让用户可以快速创建大量...
    UCloud云计算阅读 724评论 0 1
  • 最近乌鲁木齐的天空蓝的不像话,简直太美了!走在路上,抬头发现换一个角度看天空显现了不同的美! 利用相机和大楼的线条...
    荷语微光阅读 160评论 2 0
  • 题记:新春佳节近了 年味越发浓 午后闲暇总想的 那儿女情長 过去的时光 伴着几分甜蜜 又有几分优伤 无人能体量 偶...
    柴山木棉阅读 236评论 0 2