Allure介绍
- allure是一个轻量级，灵活的,支持多语言的测试报告工具;多平台的,奢华的report框架;
- 可以为dev/qa提供详尽的的测试报告、测试步骤、log;也可以为管理理层提供high level统计报告;
- Java语言开发的,支持pytest，JaveScriipt，PHP， ruby等
- 可以集成到Jenkins
Allure报表预览
image.png
image.png
Allure安装
- windows / mac通用安装方法
- https://github.com/allure-framework/allure2/releases下载allure2.7.zip包
- 解压->进入bin目录->运行allure.bat
- 把bin目录加入PATH环境变量
- Mac可以使用brew安装：
brew install allure - 官网：http://allure.qatools.ru/
- 文档：https://docs.qameta.io/allure/#
- 验证安装：
allure --version - 查看帮助文档：
allure
针对 Pytest 测试框架安装
- 针对 Pytest 测试框架还需安装
allure-pytest第三方库：pip install allure-pytest - 用法：
pytest --alluredir=/tmp/my_allure_results，将测试报告文件存放到/tmp/my_allure_results目录下 - 查看报告：
allure serve /tmp/my_allure_results
- 测试文件
test_pytest.py文件如下：
import pytest
def test_success():
"""this test succeeds"""
assert True
def test_failure():
"""this test fails"""
assert False
def test_skip():
"""this test is skipped"""
pytest.skip('for a reason!')
def test_broken():
raise Exception('oops')
- 在pycharm的terminal中切换到当前路径，运行
pytest test_allure.py --alluredir=./results/1，就能在目录中生成测试报告文件如下，一个测试用例对应一个.json文件：
image.png - 在terminal中运行
allure_practice>allre serve ./results/1就能自动打开网页查看报告
image.png
使用 Allure2 生成精美报告
- 安装allure-pytest插件
pip install allure-pytest
- 运行：
- 在测试执行期间收集结果
-
pytest [测试文件] -s -q --alluredir=./ result/(--alluredir 这个选项用于指定存储测试结果的路径)
-
- 在测试执行期间收集结果
- 查看测试报告
- 方式一：测试完成后查看实际报告，在线看报告，会直接打开默认浏览器展示当前报告
-
allure serve ./result/(注意这里的serve书写)
-
- 方式二：从结果生成报告，这是一个启动 tomcat 的服务，可以永久打开，需要两个步骤：生成报告，打开报告
- 生成报告
-
allure generate ./result/ -o ./report/ --clean（注意：覆盖路径加 --clean )
-
- 打开报告
- `alure open -h 127.0.0.1 -p 8883 ./report/
- 生成报告
- 方式一：测试完成后查看实际报告，在线看报告，会直接打开默认浏览器展示当前报告
- 关闭报告：在terminal中使用
ctrl+c
使用上面的例子
- 在pycharm的terminal中切换到当前路径，运行
pytest test_allure.py --alluredir=./results/1 - 在terminal 中运行
allure generate ./results/1 -o ./report/1 --clean，会在report目录下生成报告文件如下，包括了.json .txt .html .js .css .ico等文件：
image.png
Allure常用特性
- 场景:
- 希望在报告中看到测试功能，子功能或场景，测试步骤，包括测试附加信息
- 解决:
- @Feature，@story，@step，@attach
- 步骤:
- import allure
- 功能上加 @allure.feature('功能名称')
- 子功能上加@allure.story('子功能名称')
- 步骤上加@allure.step('步骤细节')
- @allure.attach('具体文本信息)，需要附加的信息，可以是数据，文本，图片，视频，网页
- 如果只测试登录功能运行的时候可以加限制过滤:
-
pytest [文件名] --allure_features '购物车功能' --allure-stories '加入购物车'(注意这里—allure_features中间是下划线)
-
- 实例
test_feature_story.py代码如下
import pytest
import allure
# 标识整个模块都用来进行登录
@allure.feature('登录模块')
class TestLogin():
@allure.story('登录成功')
def test_login_success(self):
print("这是登录：测试用例，登陆成功")
pass
@allure.story('登录失败')
def test_login_fail(self):
print("这是登录：测试用例，登陆失败")
pass
@allure.story('用户名缺失')
def test_login_lostname(self):
print("用户名缺失")
pass
@allure.story('密码缺失')
def test_login_lostsec(self):
# 对一些关键步骤进行标记
with allure.step("点击用户名"):
print("输入用户名")
with allure.step("点击密码"):
print("输入密码")
print("点击登录")
with allure.step("点击登录之后登录失败"):
assert "1" == 1
print("登录失败")
pass
@allure.story("登录失败")
def test_login_failure(self):
pass
- Terminal中输入
pytest test_feature_story.py --alluredir=./results/2，生成报告文件 - Terminal中输入
allure serve ./results/2，打开测试报告
image.png
image.png - 指定 feature 运行，执行
pytest -v test_feature_story.py --allure-features '登录模块'，-v为打印详细信息 - 指定 story 运行，执行
pytest -v test_feature_story.py --allure-stories '登录成功'
Allure特性-feature/story
- 注解@allure.feature 与@allure.store的关系
- feature相当于一个功能，一个大的模块，将case分类到某个feature中，报告中Behaviors 中显示，相当于testsuite
- story相当于对应这个功能或者模块下的不同场景、分支功能，属于feature之下的结构，报告在
features中显示，相当于testcase - feature与story类似于父子关系
Allure特性-step
- 测试过程中每个步骤，一般放在具体逻辑方法中
- 可以放在关键步骤中，在报告中显示
- 在app, web自动测试当中，建议每切换到一个新的页面当做一个step用法:
- @allure.step() 只能以装饰器的形式放在类或者方法上面
- with allure.step() 可以放在测试用例方法里面，但测试步骤的代码需要被该语句包含
Allure特性-issue，testcase
- 关联测试用例（可以直接给测试用例的地址链接)
- 关联bug
- 执行的时候需要加个参数
- `--allure-link-pattern=issue:http://www.mytesttracker.com/issue/{}
- 执行的时候需要加个参数
- 加入链接示例：
@allure.link("www.baidu.com")
import allure
@allure.link("www.baidu.com")
def test_with_link():
print("这是一条加了链接的测试")
pass
-
执行结果报告
image.png
- 给链接取别名：
@allure.link("www.baidu.com", name="百度一下")
import allure
@allure.link("www.baidu.com", name="百度一下")
def test_with_link():
print("这是一条加了链接的测试")
pass
-
执行结果报告
image.png
- 加入测试用例的链接：
@allure.testcase(TST_CASE_LINK, '登录用例')
import allure
TST_CASE_LINK ='https://github.com/qameta/allure-integrations/issues/8#issuecomment-268313637'
@allure.testcase(TST_CASE_LINK, '登录用例')
def test_with_testcase_link():
print("这是一条测试用例的链接，链接到测试用例里面")
pass
-
执行结果报告
image.png
- 通过传入的bugID生成bug链接：
@allure.issue('BugID', 链接名')，运行时指定链接地址
import allure
# 测试bug链接，前面为bugID
"""
在运行时加入bug链接： --allure-link-pattern=issue:http://www.mytesttracker.com/issue/{}
中括号里面就会传bugID
"""
@allure.issue('140', '这是一个issue')
def test_with_issue_link():
pass
- 在terminal中运行时需要加入bug链接：
pytest test_link_issue.py --allure-link-pattern=issue:http://www.mytesttracker.com/issue/{} --alluredir=./results/6，花括号内会自动传入BugID -
报告运行结果
image.png
按重要性级别进行一定范围的测试
- 场景
- 通常测试有P0、冒烟测试、验证上线测试。按重要性级别来分别执行的，比如上线要把主流程和重要模块都跑一遍
- 解决:
- 通过附加
py.test.mark标记 - 通过
allure.feature，allure.story - 也可以通过
allure.severity来附加标记- 级别：Trivial不重要，Minor不太重要，Normal正常问题，Critical严重，Blocker阻塞
- 通过附加
- 步骤:
- 在方法、函数和类上面加
@allure.severity(allure.severity_level.TRIVIAL)
- 执行时
py.test -s -v [文件名] --allure-severities norma,critical
- 在方法、函数和类上面加
- 缺陷等级
| 名称 | 描述 |
|---|---|
| Blocker级别 | 中断缺陷（客户端程序无响应，无法执行下一步操作) |
| Critical级别 | 临界缺陷（功能点缺失) |
| Normal级别 | 普通缺陷（数值计算错误) |
| Minor级别 | 次要缺陷（界面错误与UI需求不符） |
| Trivial级别 | 轻微缺陷（必输项无提示，或者提示不规范） |
- 执行严重级别为 normal和critical的测试用例：
pytest -v test_severity.py --allure-severities normal,critical --alluredir=./results/7
import allure
def test_with_no_severity_label():
pass
@allure.severity(allure.severity_level.TRIVIAL)
def test_with_trivial_severity():
pass
@allure.severity(allure.severity_level.NORMAL)
def test_with_normal_severity():
pass
@allure.severity(allure.severity_level.NORMAL)
class TestClassWithNormalSeverity(object):
def test_inside_the_normal_severity_test_class(self):
pass
@allure.severity(allure.severity_level.CRITICAL)
def test_inside_the_normal_severity_test_class_with_overriding_critical_severity(self):
pass
-
执行结果报告
image.png
在pycharm中配置默认的allure参数
配置以后直接鼠标右键-> run 'pytest for ...' 即可
image.png
前端自动化测试-截图
- 场景:
- 前端自动化测试经常需要附加图片或html，在适当的地方，适当的时机截图
- 解决:
-
@allure.attach显示许多不同类型的提供的附件，可以补充测试，步骤或测试结果。
-
- 步骤:
- 在测试报告里附加网页:
allure.attach(body(内容), name, attachment_type, extension)allure.attach('<head></head><body>首页</body>，'这是错误页的结果信息',allure.attachment_type.HTML)
- 在测试报告里附加图片:
allure.attach.file(source, name, attachment_type, extension)allure.attach.file("./ result/b.png" , attachment_type=allure.attachment_type.PNG)
- 在测试报告里附加网页:
- 代码示例
import allure
import pytest
def test_attach_text():
allure.attach("这是一个纯文本", attachment_type=allure.attachment_type.TEXT)
def test_attach_htlm():
allure.attach("<body>这是一段html body块</body>", 'html测试块', attachment_type=allure.attachment_type.HTML)
def test_attach_photo():
allure.attach(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png",
name="这是一个图片", attachment_type=allure.attachment_type.PNG)
-
运行结果报告
image.png - 运行结果图片展示出来，是因为调用的方法
allure.attach(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png", name="这是一个图片", attachment_type=allure.attachment_type.PNG)有误，应该调用allure.attach.file()方法 - 修改后的代码：
import allure
import pytest
def test_attach_text():
allure.attach("这是一个纯文本", attachment_type=allure.attachment_type.TEXT)
def test_attach_htlm():
allure.attach("<body>这是一段html body块</body>", 'html测试块', attachment_type=allure.attachment_type.HTML)
# 调用图片要使用file方法
def test_attach_photo():
allure.attach.file(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png",
name="这是一个图片", attachment_type=allure.attachment_type.PNG)
-
修改后的运行结果
image.png
实战：pytest+allure+selenium
- 代码
import time
import allure
import pytest
from selenium import webdriver
@allure.testcase("http://www/github.com", "测试用例地址")
@allure.feature("百度搜索")
@pytest.mark.parametrize('test_data', ['allure', 'pytest', 'unittest'])
def test_steps_demo(test_data):
with allure.step("打开百度网页"):
driver = webdriver.Chrome()
driver.maximize_window() # 浏览器最大化
driver.get("http://www.baidu.com")
with allure.step("输入搜索词"):
driver.find_element_by_id("kw").send_keys(test_data)
time.sleep(2)
driver.find_element_by_id("su").click()
time.sleep(2)
with allure.step("保存图片"):
driver.save_screenshot("./resource/b.png")
allure.attach.file("./resource/b.png", attachment_type=allure.attachment_type.PNG)
allure.attach('<head></head><body>首页</body>','Attach with HTML type',allure.attachment_type.HTML)
with allure.step("关闭浏览器"):
driver.quit()
-
运行结果
image.png
