JIRA的使用介绍（三）- Xray - 基于JIRA的测试管理插件

JIRA是一个流行的产品，除了其自身功能强，可扩展性好以外，JIRA还拥有一个庞大的生态圈。拥有众多的插件开发商、合作伙伴和用户。

从产品层面看，JIRA产品具备很强的扩展能力，例如对于问题单类型、流程、表单、字段，报表，通知，权限配置都是可以定制的，而且还内置或者可以定制很多模板（Schemes）方便扩展。

另外JIRA产品拥有支持Add-On（插件）的能力，围绕Add-On能力Atlassian公司做了一个App市场，各种外围合作方和供应商可以通过App市场把他们开发的第三方的插件开放给所有JIRA产品的客户购买和使用。另外JIRA产品相关的相关的各种培训和论坛也都非常活跃。这些反过来也让这个产品更受欢迎。

Xray就是众多这些插件应用中的一个，Xray是一个叫xpand的英国公司开发的插件。据说就个插件已经在60多个国家被1K多的客户在使用。因为我们在之前的一个项目上用这个工具，所有有所了解。Xray在测试管理这个领域比较知名，下面就用这个插件为例介绍下使用JIRA+Xray如何进行测试管理。

核心概念和模型

概念/术语	问题类型	描述	别名
Test	测试用例	一个测试用例。可能是手工或者自动化的测试用例，由测试步骤，行为和预期结果构成	test case, test scenario, test template
Pre-Condition	前置条件	测试前置条件，一个测试前置条件可以被多个测试用例所引用
Test Set	测试集合	一组测试用例的集合。一个测试用例可能会属于多个测试集合。	test group, test suite
Test Plan	测试计划	一个正式的测试计划通常被用于为某个给定的项目版本执行
Test Execution	测试执行	测试执行是一个可分配的，可规划的任务，用于给一个指定的版本执行一个或多个测试用例，并给出结果报告	test cycle*
Sub-Test Execution	子测试执行	一个“子测试执行”同“测试执行”拥有相同的功能，不同之处在于子测试执行是一个可以在需求上下文中创建的子任务。在需求单的界面创建一个测试执行可以让用户有能力在敏捷看板中跟踪执行的进展。
test run	-	测试运行。一个测试运行的实例包括执行的状态和执行规格的快照。当给一个测试执行增加一个测试用例后，一个测试运行会在测试执行的上线文中被内建出来。一个测试用例可能会拥有多个测试运行。
test status	-	测试状态。大部分情况下，是一种测试运行的状态的速记。Xray提供了一个定制化的估算状态“TestRunStatus”，这个状态根据不同的规则可以被用于查询等多个场景中。	..
requirement	Story, Requirement, ....	需求是你希望从系统获得的东西，或者叫特性。一个好的需求应该解释系统是如何实现来达到目标的。
test repository	-	测试库是在一个项目中所有的测试用例集合。在Xray中, 测试库只是测试问题单的简单组合。
test strategy	-	测试策略描述了哪些需求需要验证，怎么验证，手工还是自动方式，以及测试资源分配等主题
testing lifecycle	-	根据需求规格和修订结果，测试生命周期会涉及到测试计划，测试设计，测试执行和测试报告。

以上这些测试概念的关系可以用下图来表达：

Entity Relationship Diagram

项目可以包括多个版本，每一个版本可以包括一个或多个需求，一个需求可能包括一或多个测试用例。实际上，一个需求甚至可以包括测试集合。测试计划包括那些需要被跟踪的测试用例。测试执行包括那些希望被执行的测试用例。一个测试用例可以被包括在多个测试集合中，可以被多个测试计划所使用，也可以被多个测试执行所执行。一个测试用例可以包括一或多个前置条件，一个前置条件也可以被多个测试用例所引用。每次一个测试用例在测试执行中被执行后，一个测试运行（Test Run）就会被创建。

测试流程

通常一个典型的测试生命周期如下，在Xray基本都可以找到对应的映射实体：

testing_lifecycle

每一个阶段的测试一般都包括计划，设计，执行和报告四个主要过程，Xray中可以通过创建特定的问题单来对应以上步骤。

计划阶段: “Test Plan”问题单
设计阶段: 通过创建“Pre-Condition”问题单和“Test”问题单（测试用例）解决. 另外还可以通过测试集合来组织这些测试用例。
执行阶段: Test Execution问题单
报告阶段: 通过使用JIRA内置工具，通过测试执行问题单可以产生需求覆盖率及一些其它测试报告数据。

需求和测试用例关系

通常在使用一个Xray的测试项目之前，最好先创建一个需求相关的项目，这样通过和需求项目的关联，我们可以很容易知道测试的覆盖率。

在系统中，测试用例会关联到需求（Requirement）或者缺陷（Defect）中，典型的需求问题会包括：Epic，Story，Requirement，Sub Requirement，Feature和Improvement这些，典型的缺陷问题会包括：Bug和Defect。需求和缺陷同测试用例的关系可以表示如下。

xray_issue_linking

使用JIRA内置的Link类型，可以把需求和测试用例链接起来，以上图为例：

需求R "is tested by" 测试用例T (或者测试集合TS)
测试用例T (或者测试集合TS) "tests"需求R
缺陷D "is created by" 测试用例T
缺陷D "is tested by" 测试用例T (或者测试集合TS)
测试用例T "created" 缺陷D
测试用例T (或者测试集合TS) "tests" 缺陷D

如何使用Xray（操作介绍）

安装Xray也很简单，通过JIRA内置的Add-On市场找到Xray，选择安装即可，可以试用一个月，喜欢就可以直接购买了。下面介绍下如何试用Xray一步步来做一个UAT测试的项目。

使用Xray的Template创建一个测试项目，创建完成后，会自动用于Xray自带的问题单类型，流程，表单和字段设置

Xray Test Project
完成测试项目创建后，就可以直接开始使用系统了，可以创建一个测试用例试试看。

Create a test
为需求单关联一个测试用例，打开需求单，点击More，选择Link，选择测试用例即可。

Add a link
为缺陷单关联一个测试用例，同样的方法，如果需要为一个缺陷单关联一个测试用例，选择link，选择created by或者tested by选项，既可把缺陷单和测试用例关联起来。

Link defect with test
执行一个测试阶段，首先去创建一个测试计划，然后把需要测试的测试用例挂入测试计划中去，接下来可以创建一到多个测试执行，测试过程如果发现问题可以直接创建故障单。一个测试用例测试失败后，可以直接在当前测试执行中标识为Fail，等相关故障单修复完毕后，可以再次创建一个新的测试执行，后一次的测试结果如果是Pass，整个测试用例的状态也会被标明为Pass。在下面这个例子中，一个测试计划包括一个测试用例，这个测试用例产生了两个测试执行，第一次执行失败后创建了一种故障单，第二次执行成功。

Test samples
最后就是测试报告。这个通过JIRA内置工具可以很方便的统计测试覆盖率，如下：

Overall Coverage requirements chart

或者生成测试报告：

Test Plans Report

结语

总体而言，Xray是一种非常简单易用的插件产品。系统设计的思路很贴近业界最新的测试理论和实践，例如自动化测试的设计，支持敏捷/看板的实践，另外可以很容易对接需求用例以及外围系统。
在我们的一个项目中，Xray被用于了UAT的测试过程，整个测试过程采用敏捷研发的方式，系统按照产品分多个团队，每个团队每两周一个迭代，每个迭代一个测试计划，每个测试计划包括若干测试用例，每个迭代失败的用例放入下一个迭代继续测试。
测试用例结构上分为Epic->Story->Test Case，其中Epic和Story来自需求和HLD，Test case需要覆盖所有Story。在用例执行层面有Sprint-> Test Plan -> Test Execution，用以管理所有用例的执行计划和执行结果。
整个使用过程很流畅，系统的概念清晰，内置了流行的测试方法论，系统可扩展性比较强，另外JIRA内置的强大JQL查询能力和Dashboard的定制能力也让人印象深刻。个人觉得Xray+JIRA是值得推荐的测试管理工具。