质量管理三板斧(全)

中国的速度举世瞩目,30 年完成别人 200 年的进程。IT、CT 行业从无到有,再到一流也就区区 20 年;BAT、TMD这些万亿或准万亿互联网公司和老美也能齐头并进。老J 想想就热泪盈眶,无比自豪,毕竟作为大佬背后的男人,刷过抖音、打过滴滴、玩过网购,也在无数个深夜卖过加班体力。

蹭上这趟科技浪潮的老 J 也是摸爬滚打不容易啊!下过瀑布,趟过 V 型,干过 IPD,走上敏捷,最终顺上 Devops。遥想当年坚定地立下 Flag:“30 岁前,在上海买下属于自己的大平层”。如今实现了一半,30多了。

“质量就是生命!” 多么响亮的工业时代口号。放在现在也是如此得正确,市场经济大环境,用户 / 客户用脚投票,默默地离开不稀罕你送不送。用户流失、掉粉因为一个生产事故比比皆是。成熟的反托拉斯注定同类竞争一直会存在。只因这句话过时了,没有那么大的影响力了。

取而代之的是 “好、快、稳” 的三元论,虽然冲突,但可以平衡。励精图治,尝试过各种姿势的老 J 就来聊聊质量管理三板斧,助你打工搬砖既好,又快,而且稳。

质量管理三板斧

1.测试自动化

测试、测试,就是测已知,试未知。已知部分可以结合业务场景,通过测试设计工程方法进行枚举覆盖,可复用的部分逐渐沉淀进入回归集合。常规执行无外乎手工、半自动和自动化三种方式(当下引入 AI 技术辅助测试执行逐渐热门,短期内常规方式仍是主体,AI 作为辅助手段)

其中,回归部分存在完全重复执行;新增覆盖场景难免有前置环境、数据、状态准备需求,存在大量的部分重复执行。人并善于重复性工作,得让机器做。

一来,重复行为会让人随着时间的推移,效率曲线会下降;

再者,既定的工作机器一定比人来的可靠;

最后,更多的探索性测试才是测试工作的高价值部分。

测试人员做“时间的朋友”。经验的累计在于分析业务逻辑、熟悉功能实现,探究应用场景为手段,而非重复性操作。避免陷入勤奋陷阱,1 年的经验重复 做上10 年。

测试自动化技术的发展离不开“分层测试”的概念。分层测试是典型的化整为零的思想,把复杂的系统拆解成宽耦合粒度,这样可以尽早介入进行验证的方法。

一般测试分层有:UT、后端(逻辑)测试、前端(交互)测试、集成测试、性能、稳定性、兼容性、安全等专项测试。其中:

  • 接口测试自动化技术源于针对逻辑实现主体的后端的测试;
  • UI 自动化测试技术源于端到端的测试,包括基于浏览器的测试以及移动端 UI 测试;
  • 浏览器兼容性测试、移动端兼容性测试源于系统测试;

常见的测试工具 / 框架如下表所示:

常见的测试工具 / 框架

测试自动化技术分门别类不算少,工具/ 框架成百上千也不在话下。如何实施是门学问,老J 给出自动化测试策略

  • 关键路径,核心稳定场景优先实施;
  • 接口组合场景为主,UI 为辅;
  • 兼容性场景必做自动化;
  • 前置条件可做半自动化
  • 自动化测试平台化、服务化

关于左移精准测试、右移流量复制测试,以及 AI 测试技术将单独开一篇讨论。

最后,强调一点执行提效是手段,覆盖全面是目的。重复的操作自动化;更多时间进行探索性测试。

2.流程 & 规范

流程特指研发端到端全流程;规范特指质量相关规范。

流程的产生是为了“协同”高效,规范如“契约”明确流程中关键节点做到什么程度算到位。最终,是为了有质量地快。返工就是最大的浪费,一次把事做对不仅快,而且稳,它不香吗?

image

无论是哪种研发模式,瀑布、V型还是敏捷,最终都会落地到带有规范的流程至上。流程 & 规范作为研发模式的载体,在每个团队内都有不同的实践。这里着重提两点,也较为通用,分别是设置质量门禁(提测标准)以及准出核对(上线标准)。简单来说,流程靠卡点,卡点有规范。

1)质量门禁--门禁不把容易尴尬

越早发现 Bug 并修复成本越低,风险越低。想必大家都有共识,如下图 Bug 缺陷成本趋势图所清晰展示。越往后风险越高,形象的类比“蝴蝶效应”就很好理解。想想:

修改一行代码,影响功能能逻辑不说,还可能牵连到业务逻辑;

后期验证范围被主观锁定而产生遗漏,纵使有全量回归兜底,在临近上线前发现 Bug 修复引入的新 Bug 也是让整个项目很崩溃的消息;

最终,导致上线交付 Delay。

。。。你说是不是很尴尬?

image

缺陷成本曲线

与质量门禁相配套的提测标准包含哪些内容?

  • 自测通过
  • UT 覆盖率达到 xx%
  • Code Review 意见全部回复
  • 文档类,如设计文档、接口文档、配置、SQL等完备
  • 跑冒烟用例集合(关键路径、影响模块抽样)

2)准出核对--上线前最后一次的“清单革命”

临门一脚,功亏一篑,谁都不愿接受。准出核对是上线前夕的兜底措施,更是团队所有成员的心理建设过程。褪去其保险功效,满槽蓝血就等运维小哥鼠标一点, 进度条 100 % 那刻的 Give Five!

[图片上传失败...(image-2b76b8-1611994813889)]

走你

与准出相配套的上线标准包含哪些内容?

  • 依照测试策略,用例执行完成
  • 需求覆盖率 100 %
  • 无严重级别 Bug,缺陷趋势收敛
  • 版本信息、配置、SQL信息正确
  • 有回滚方案,且验证通过

另外,测试是个长周期活动,测试规范得过硬。除了上述提测标准、上线标准,还包括有:用例分层、用例管理、缺陷定级、测试报告、生产故障定级、RCA等等。详见:那些年要是知道这些 该有多好!

3.数据度量

管理学大师彼得-德鲁克说过:“无度量难管理”。

质量有没有变好?测试执行有没有变高效?测试是否是研发瓶颈?哪里需要改善?认知、沟通最低的方式就是通过数据说话。

当下,“数字化”是个时髦词,比如金融数字化、政务数字化、社交数字化等等。沉淀研发过程数据就是软件工程数字化。

当然,这里主要聚焦于质量数据方面,更广泛的研发数据与工程效能息息相关,比如 Devops ,老 J 另开一篇聊聊。

那么,如何做数据度量?可以分两步走:

  • 第一步,沉淀端到端数据,甚至是过量沉淀,以备后用;(解决有没有的问题)
  • 第二步,挑选当期关键指标进行重点提升 or 降低。(聚焦如何用的问题)

指标大致分为三类,外加排行榜,罗列了一些常用的指标,见下表。

质量度量指标

相信,好的过程数据能促成好的结果。完备的数据度量能让每天上班感觉在玩“足球经理”(EA 早期出款的一部沙盘游戏)人生如戏,游戏人生啊。

文末总结

1、质量管理三板斧。测试自动化、流程&规范以及数据度量。

2、设置质量门禁,卡好准入标准,能让质量较早受控,避免项目运作的后续风险累计;上线前准出核对不但是最后一道兜底措施,同时能让团队积聚成功上线后的成就感,提升团队凝聚力。测试规范参见 那些年要是知道这些 该有多好!

3、“无数据,无管理;先度量,后决策”。对质量数据的度量能用相对客观的“语言”描述质量状况,最重要的是驱动改进,实现质量提升。而这种趋势是实打实看得见的。

-END-

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容

  • 1.测试自动化 测试、测试,就是测已知,试未知。已知部分可以结合业务场景,通过测试设计工程方法进行枚举覆盖,可复用...
    Iam老J阅读 483评论 0 1
  • 1. 前言 质量是企业的生命线,在现代企业管理中越来越成为人们的共识。尤其在产能过剩的钢铁行业,质量更是企业长久发...
    买鞋的洋葱头阅读 1,163评论 0 2
  • 01 前言 最近微信朋友圈看到任老师关于质量同仁总结的一些常见问题及见解,看完觉得受益匪浅,以下文章是借鉴任老师的...
    walker86阅读 1,846评论 0 2
  • 久违的晴天,家长会。 家长大会开好到教室时,离放学已经没多少时间了。班主任说已经安排了三个家长分享经验。 放学铃声...
    飘雪儿5阅读 7,454评论 16 22
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    迷月闪星情阅读 10,534评论 0 11