闲话IT运维-每个月的那几天

图片来自网络

2016年刚过,2017年已经到来,大家采用了不同的方式来跨年。对于一个运维人员来说,每逢节假日以及这样特殊的日子都是神经异常紧张的时刻,通常来说系统此时是最容易出现问题的,譬如今年元旦1号就有闰秒的问题,处理不当会导致系统出现异常情况。另外,像双十一、春节抢车票这样的特殊时刻,短时间内数以千万计的用户访问系统,交易量是平时的几倍甚至数十倍,对系统稳定性是极大的考验,运维工程师在精心准备之余只能祈求上天保佑了,所以才会出现上面题图中工程师们赤膊拜机器的搞笑场景。

从IT运维角度来看,这种特殊的日子通常有如下几类:
1、突发类
突发类也有两类,一种是有计划突发,譬如促销活动,双十一,过年抢红包;另外一种是突然的,无计划无准备的,譬如发生了突发事件,网站遭遇黑客攻击等等。
对于有计划突发,运维可以提前做准备、做预案、做演练,心理相对有预期,当然事件真正发生时也可能会遭遇异常状况,是之前没有考虑到的。 对于无计划、无准备的随机突发事件,会让人措手不及,通常破坏性更大,需要我们在平时要尽可能的假想一些异常,并且做好应急演练。

随机突发事件
1、突发事件
譬如,遭遇自然灾害物理环境被损坏,偶发热点事件导致站点被大量登陆;
2、网站遭遇黑客攻击
譬如,遭遇黑客DDOS攻击,网络病毒爆发。

有计划事件
1、过年抢红包;
2、双十一抢购
3、网站促销打折活动

2、业务类
另外一类是和业务逻辑密切相关的,譬如月底财务系统要进行结算给大家发工资,运营商BOSS系统月底集中进行扣费,对欠费的用户进行停机。这些业务规则引发的业务并发量大,通常是系统后台进程在处理,短时间高并发,对系统压力较大,并且未能及时处理还会影响到用户正常业务使用。

业务类
1、月底财务系统结算
2、用户月底集中扣费或者业务规则生效,譬如运营商套餐次月生效
3、信用卡集中出账单,用户集中还款。

对引发业务量暴增事件的应对策略大概有下面几种
策略1:尽量避免
能避免尽量避免,市场营销活动、业务规则制定的时候,业务部门提前和IT部门沟通,尽可能的减少这种业务集中处理的情况。譬如月底集中出账期间,就尽量不要进行促销活动,避免雪上加霜;信用卡还款日进行拆分,避免统一集中在某一日。

策略2:技术优化
业务部门通常是老大,IT部门属于支撑部门,往往扛不住业务部门的要求,特别是高层领导安排的工作,这个时候IT部门只能硬扛,提前做好准备。从技术角度来进行优化保障,常用的手段有:
1、限流:系统顶不住,就控制进入的交易数,类似节假日高速公路免费开放时,流量过大采用收费站限流的措施。
2、隔离:如果某个子系统挂了,能够进行屏蔽,不影响主要功能。譬如,电商网站的推荐系统,如果在高并发的情况下支撑不住,直接在页面展示上进行屏蔽,对用户购物影响并不大。
3、降级:有多大能力办多大事,当系统压力过大时,保留核心业务,其他非核心功能,依次进行降级,譬如,后台管理功能,大数据分析功能这些非实时关键功能在紧急时刻直接下线,不准使用。
4、扩容:借助云计算环境,压力过大的情况下,紧急从资源池中抽调资源进行支援,这个需要系统总体架构支持弹性伸缩。
5、流程优化:在大型活动之前,通过预先引导用户升级客户端,将活动的一些预设逻辑、展现的图片、视频等信息预先做到客户端中,避免活动期间频繁的到服务器取图片等数据,节约系统性能和带宽消耗。

策略3:充分演练
对突发和异常情况,提前进行演练,特别是进行压力测试,通常提前利用夜间业务低峰时段对生产系统进行压力测试和演练,寻找性能薄弱点,逐个进行优化。
另外,对活动当日的保障流程和管理也需要细化,成立各相关单位联合保障组,集中到一起办公,提前动员,让各相关单位做好“战斗”准备。经过充分的准备才能在突发情况下有章可循,遇事不慌。

作为一个运维人,平时7x24x365时刻准备着,无论刮风下雨、无论白天黑夜有问题需要第一时间远程或者到现场处理,特别是节假日,很多人不能和家人、朋友待在一起,需要现场值守,他们没有鲜花、掌声,默默的支撑着系统的运行,让我们双十一能够开心的买买买、春节能够顺利的抢到火车票、电话能够随时畅通、能够开心的抢红包,平凡的他们做着不平凡的事情。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容