浅谈如何做好Bug回归验证

作为测试人员,我们都知道Bug的生命周期是:


我们都希望自己不仅有敏锐的洞察力能够全面的找出隐藏在软件中的bug,还希望自己有系统的分析能力能够准确的分析出每个bug的原因以至于能正确、全面的解决修复bug。这也是一个优秀的测试工程师应该具备的基本能力。那么对于回归验证bug这个环节就是对前面两项工作是否合格的体现及验证。bug回归到不到位, 关系到发现bug本身有没有修复正确,  同样也关系到bug修复过程中可能引起新的bug。接下来我们就讲讲如何做好bug的回归验证:

一、 确认好bug的复现前提及操作步骤。

一般情况下对于必现bug,我们在提交bug的时候会写上必现前提及操作步骤。对于本人提的bug及操作步骤描述清楚的情况下,回归时复现操作出现偏差的可能性不大。但是遇到要回归别人的bug且描述不够清楚或理解可能存在歧义的时候,我们一定要先跟发现bug的同事确认清楚bug的复现方法。否则很可能就出现了bug验证步骤的偏差,从而无法确保bug是否真正修复。这里我们先要在源头解决这个事,所以在提bug时就一定描述清楚,下面给出一个我们平时写的比较详细的bug做为参考:

【版本V1.1.0】【ANDROID】【银行卡】【功能问题】绑定银行卡时提示通联验证码验证失败,或验证码发送失败,或网络超时【复现率80%】

【测试机型】HTC M10U/6.0.1

【测试环境】MA

【测试版本】0929

【步长】1

【复现步骤】

1、登录花生理财

2、银行卡管理-添加银行卡,输入交易密码,身份信息,选择华夏银行,输入卡号为623020xxxxxxxxx2及开户城市信息

3、验证手机页面输入手机 号点击获取验证码。输入校验码点击确定 ,观察页面显示

【预期结果】

点击确定后如果验证码正确提示绑上成功

【实际问题】

点击确认后提示通联验证码验证失败,或验证码发送失败,或网络超时

【备注】

详情见附件图

二、 确认清楚bug产生的原因及修复方法。

在自己不能准确定位bug产生原因的时候,一定找开发确认产生bug的具体原因。是业务逻辑错误还是代码实现方法错误等等。这个不仅有助于测试分析, 从bug产生的原因可以触类旁通。其他的功能模块是不是也可能存在这种问题,或者这种问题是不是典型易犯错的类型,还可以从bug中得出一些经验积累, 对缺陷预防的工作有积极作用。在了解清楚bug产生的原因后,进一步了解清楚开发是如何修复bug的。修复当前的bug往往很简单,有些开发只是针对当前的问题现象进行修改而不是从问题产生原因进行修复。还有可能修改的代码会影响到其他模块。比如说,修改的是一些公共的函数或算法,这是一个"非常危险"的信号。很有可能就会影响到其他功能。

比如bug#43213:【版本V1.4.0】【RN】【电子签名约定】小白用户签约时走绑卡未走完返回,再点击同意签约确定时会弹出密码输入框【必现】。

这个bug的原因是:只在进入签约页面时判断了绑卡与否,而RN界面无法获取从其它页面返回的状态,所以返回时无法重新获取。

解决办法是:点击保存时再次判断用户绑卡与否,如未绑卡再次提示。

这个bug本身的影响只有当前签名业务页面,但从bug出现的原因看,是因为RN界面无法获取从其它页面返回时的状态,那我们就可以深入考虑我们有哪些业务是用的RN,然后业务中存在需要获取返回状态的业务又有哪些,而这些业务是否也存在这个问题呢?

三、 确认bug的回归范围及用例。

在了解清楚bug产生的原因及修复方法基础上,再根据业务关联、功能模块关联确认回归范围及用例,确保bug修复全面且没有引起新的bug。这里需要测试人员非常熟悉业务逻辑及功能模块的关联关系,能够准确全面的分析出每个业务功能点所影响的范围。比如说,bug原因是某个函数或算法错误,那修改这个函数或算法后我们就要回归所有会用到这个函数或算法的业务及功能模块。例如,购买理财时预计利息计算错误。

【测试机型】iPhone5s/8.3;oppoR7/4.4.4

【测试环境】测试环境

【测试版本】Android:20322,ios20847

【步长】2

【测试步骤】

1.登录高门账号后进入振惠存

2.在存入金额输入页输入100

3.查看存入金额输入框下方利息

【预期】利息的值=最高年化收益率*本金,即1.95

【实际】实际展示的值是9.75

回归这类问题时我们要考虑哪些地方会涉及利息计算?如:理财计算器,利息预计算等。他们是否用的同一个公式?回归的时候就要覆盖所有存在利息计算的场景。

四、 非必现bug的回归验证。

有些bug并不是有一定的必现的操作,或者说我们找不到比较好的必现步骤。对于这种非必现的bug,可以视bug的重现概率而定。比如说一个操作,操作10次肯定会出现一次,这种bug基本上可以说是可以重现。这种概率较高的,回归的时候,可以通过多次操作来完成。比如说,执行必现的操作30次以上,均未出现问题。这个时候基本可以认为bug修复啦。

还有一种当出现的概率较小而且很难掌握重现方法的时候,怎么回归呢?首先这种可能开发也不能100%确定是什么原因造成的,只不过发现了一些可疑的代码。猜测是这些可疑代码造成的,进行了修复提交给测试人员回归。这种情况下,可以跟开发确认代码修改的影响范围及逻辑后对代码的改动部分进行部分的验证。

bug的状态可以先不要关闭。可以在后续的测试中持续关注。当这个bug在经过几轮的测试后未出现过,那么可以认为bug修复了。虽然这种不能100%保证bug的真正原因修复,但是起码可以认为就算有问题也是概率较小的。

还可以就是根据bug的等级,确定采用自动化的方式进行bug复现验证。根据发现bug所在的模块,生成自动化测试用例,进行自动化测试,通过重复触发去复现bug。另外还可以尝试通过给出现bug的模块功能所涉及的参数赋值为非法值,看是否能复现bug。这里也要再次提到我们在测试的时候要养成随时录制log的习惯,这样对于非发现bug来说及时录制的日志就是bug发生的证据也是开发解决bug的重要依据。

五、 Bug回归规范化。

从开发解决修复完这个bug后就进入了bug回归过程中。为了确保测试人员能够且有全面准确的回归验证bug是否真的被修复。我们可以制定一些规范来确保bug回归的效率及正确性。比如,开发在提测bug时附加上bug产生的原因,修复方法,修复影响范围,开发自测的用例,bug可验证版本号等。测试在回归时备注好验证的版本号,验证结果,回归用例等,这样如果bug修复不完整,这些信息都有助于开发及测试人员跟踪bug。对于后续bug分析总结也提供了更有效的数据。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容

  • 文章来自:http://blog.csdn.net/mj813/article/details/52451355 ...
    好大一只鹏阅读 9,186评论 2 126
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,382评论 25 707
  • 1.问:你在测试中发现了一个 bug ,但是开发经理认为这不是一个 bug ,你应该怎样解决。 首先,将问题提...
    qianyewhy阅读 9,227评论 4 123
  • 毕生征战自英雄, 百岁光辉不世功。 老将高风传海内, 诗旗一片向心红。
    雲麓阅读 276评论 0 0
  • 嘿嘿,试试简书和公众号有什么不同? 发现真不错,可以直接设置markdown编辑模式,直接开通打赏 注册流程简单,...
    李小旋阅读 162评论 0 0