探索性测试读书笔记

探索性测试,exploratory testing,简称ET,  是1983年由Cem Kaner提出,近些年得到了越来越多人的关注。这个季度的读书计划主要是阅读探索性测试相关的图书。我看的这本书,中文名为《探索吧!深入理解探索性软件测试》,译者徐毅,前同事,早些年也主要从事Robot Framework相关自动化测试工作,目前主要从事敏捷推广工作,这些年也有过不少次交流。原书为《Explore it, Reduce Risk and Increase Confidence with exploratory testing》。中文的书名翻译过程中,丢了一个非常关键的含义,就是“降低风险”。这也是这本书没有明示的一个要点,当然除了标题。

先从风险谈起

先问一个问题,那就是探索过程的依据是什么?换个说法,就是若你开始探索性测试,那么要先探索什么?后探索什么?要依据什么来进行探索?我的答案是“风险”。具体是什么风险呢? 产品未达到预期目的风险,丢失用户的风险等。风险才是探索性测试的核心。控制了风险,也就保障了质量。测试的目的是保障质量,这也是很多互联网公司的测试部门,也叫“质量保障部”的原因吧。

为什么说风险这么重要呢?举一个例子,由于某些特别的原因,一个产品原计划测试10天,现在突然只给2天时间进行测试。作为测试的负责人,怎么办?有些人会说,可以加人,也可以加班。但是如果找不到人,而加班时间也有限,还测不完呢?那么就从用户使用频次最高的场景开始,从产品的可能最大风险点出发,开始探索性测试吧。

从实施流程上,传统测试的过程一般是分析需求,制定测试策略,测试设计,编写测试用例,用例评审,测试执行,报告汇总串行进行。而探索性一般采用分析需求,学习产品,测试设计,测试执行,结果评估并行进行的方式。

传统的测试,一般针对需求编写测试用例,测试的依据是 “需求”,测试的过程也主要是检验需求。而较少从控制风险的角度出发来编写用例。这也许就是探索性测试和传统测试的在侧重点上的不同。

那么如何发现产品中的最大的风险呢?James Bach 在1999年提出过一个概念,叫“Heuristic Risk-Based Testing”,即启发式基于风险的测试。提出了一些基于风险的测试思维方法,这些方法很适合指导探索性测试。比如“Inside-Out启发式分析方法”,采用三个引导词:

可能的失效点在哪里?

什么情况下会触发?

严重程度有多大?

来引导测试者采用基于风险的测试。

本书中谈到的“噩梦头条”游戏的方式也是一个很好的办法。当然,这也是风险控制管理上常用的一种演习方式。通过这种游戏,能让团队意识到产品的最大风险是什么,产品的哪个方面才是需要首先进行测试的。

探索之路

若把测试当成远航。传统测试,因为有完整的需求,依照需求,制定测试策略,也就有了测试地图。那么探索性测试呢,有人误以为,探索性测试是随意的,盲目的,无期限的测试,这是不对的。相反,探索性测试更关注测试策略,以需求为大纲,以风险为导向。

       探索性测试要也有探索地图,也就是书中谈到的探索章程。一个探索章程一般需要指定探索的范围,探索可使用的资源,和探索目的。可以有固定的描述格式,例如“探索编辑档案,使用非法用户名,以图发现是否存在用户名限制未被执行的情况”。

恰逢在2016年的Scrum gathing day 上听邰晓梅老师,玩“智慧金字塔”游戏,也主要锻炼测试者避免陷入探索的迷宫中。

敏捷开发与探索性测试

这个世界变化越来越快,用户也是。产品开发过程中,有时候很难把握什么才是主流用户想要的,有时候甚至用户自己也不知道自己想要什么。敏捷开发主要依赖“迭代开发”的方式,实现快速试错。你快速开发了一个功能,推向市场,收集用户的反馈,再根据反馈,决定下一步怎么做。这样每个迭代留给测试的时间也会非常短。Scrum框架推荐2到4周进行一个迭代版本。传统的测试方式,周期相对较长,很难适用。探索性测试的最大的优点,也是速度快。探索性测试,再结合一定程度的自动化测试,特别是接口服务层的自动化测试已经成为敏捷开发质量保障的两大利器。

可见,探索性测试和敏捷开发是绝配。探索性测试适合应用到实现了敏捷开发的产品和团队中。探索性测试也很适合新产品的测试。

对于传统的项目管理方式,探索性测试也适合作为传统测试的补充。

测试管理平台与探索性测试

实施探索性测试一段时间之后,就会思考这样一个问题,“探索性测试需不需要平台系统管理起来?”。其实这个问题,简化下,就是“探索性测试需不需要记录?”

我的答案是需要。

首先,我们需要根据前几个测试章程的测试结果来确定怎么做下一个探索章程。更需要整个测试过程的记录来回过头来做反思和“复盘”。管理起来,能在探索性测试中强制执行容易忽略的测试策略制定环节。管理起来,最重要是避免探索者陷入“迷宫”,盲目探索。

因为探索性测试和传统测试在流程,侧重点,适应场景的不同。探索性测试的管理方式和传统测试差异很大。那到底要管理什么呢? 我认为主要包含三个方面:探索地图、探索章程、探索总结。下面分别展开分析。

其中,探索地图,更像传统的测试策略,一般一个产品的一个版本或一个测试轮次,或者一个探索session,需要一个就可以了。

探索章程,更像路线图的一个个环节,有顺利性,也更像测试用例,有独立性。下一个探索章程,一般根据这次探索的结果和风险确定。但是探索章程一般比传统测试用例的颗粒度更大,内容没测试用例那么详细,只是指明了可能的风险点。这部分书里有详细讲述,不再累述。并且,将探索章程管理起来,也可以关联缺陷进行管理。

探索总结,测试工程师在系统里总结这次探索的收获和未来的风险点。另外,系统还可以自动统计缺陷数量及其分布特征。

结束语

       这次探索性测试的读书笔记,没有对做探索性测试的思维方法比如观察细节、分析变量、改变顺序,转换状态、跨越程序边界、破坏系统生态等做深入的阐述,也没有对不同类型系统做具体的场景分析。不是不重要,而是相信具体实施探索性测试时,经过思维训练,经过实践思考,测试工程师肯定都能掌握这些技能。

参考文献:

First published in Software Testing and Quality Engineering Magazine, 11/99

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,905评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,140评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,791评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,483评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,476评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,516评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,905评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,560评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,778评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,557评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,635评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,338评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,925评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,898评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,142评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,818评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,347评论 2 342

推荐阅读更多精彩内容