Google SRE如何杀死琐事(toil)

我们的工作中不可避免的会出现琐事,公司不同、岗位不同,琐事的数量和种类也不尽相同。只要是正常人,都会除之而后快。这次看看Google SRE如何kill toil。

SRE怎么定义琐事

在Google SRE的概念里,琐事是指:运维中手动性的、重复的,可以被自动化的,战术性,没有持久价值的工作。同时,琐事还会与服务呈线性关系增长。
还是举个粟子好懂点:比如每天手工查看100台服务器的日志磁盘配额有没有写满。这事是手工操作;是每天或周重复做;是可以用定时脚本自动完成的;战术性在这件事上体现不出来,感觉战术性跟琐事关系不大,可以略过;这事做完后并不能长治久安,所以没有持久价值;最后,随着业务量增加,服务器会增长到200、300、400,这个检查工作也会同比增加,所以是线性增长关系。

怎么干掉它们

SRE的公开目标是保持每个SRE的工作时间中琐事的比例低于50%。怎么做到:

  1. on-call制度。SRE把工作分为日常运维工作(琐事)和工程工作。日常工作实行on-call制度。比如一个轮换周期内,一个SRE会有一周时间主on-call和一周时间副on-call。因一个6个人的轮值周期中,每个SRE都会有2周时间on-call做日常运维工作,4周时间做工程工作。那么他们的琐事占比就会是2/6,也就是33%。如果是8人轮值,就是2/8,也就是25%。这种轮班制度天生就控制了处理琐事的比例。
  2. 工程工作制度。用工程工作塞满剩余的时间,并持续减少或控制琐事的数量。
  • 工程工作是新鲜的、本质上需要主观创造的工作。它符合长期战略,会对服务进行长久性的改善工作。着重通过设计来解决问题,解决方案的通用性、可复用性体现其价值。这种工作是根本上解决服务对象增加,而团队规模保持不变,甚至减少的办法。
  • 主要工作包括:

软件工程:编写或修改工具,改善服务的可靠性。如:开发自动化框架,开发监控系统;
系统工程:配置环境或运维工具,参与研发架构设计和生产环境咨询等工作,能一次性产生持久的改进。如:配置负载均衡、配置自动化规则、帮助服务产品增强可靠性机制。

  1. 保持警惕的检查机制。如果发现一个团队的工程时间比例大幅低于50%,那么这个团队要退一步来找出问题所在。
    运维组织可以对照以上的方法,调整自己的工作安排,希望运维苦工也有机会转身成为攻城狮。
    回头谁能留意下SRE有没有解决开会太多的问题,大公司病害死人啊~~
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,802评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,109评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,683评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,458评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,452评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,505评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,901评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,550评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,763评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,556评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,629评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,330评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,898评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,897评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,140评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,807评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,339评论 2 342

推荐阅读更多精彩内容