Allure报告显示的测试用例总数为何不一致?
导致Allure报告执行用例数波动的可能原因
工作空间未清理,残留旧测试用例
Jenkins任务执行时,若未在拉取新代码前彻底清理工作空间(比如未启用Jenkins的"Clean before checkout"选项,也未执行git clean -fd命令),之前执行留下的旧测试用例文件不会被删除。新拉取的250个用例加上数量不固定的残留文件,会导致执行总数超过预期,且数值波动。测试用例存在动态生成逻辑
若测试代码中包含根据环境变量、外部数据源或配置文件动态生成用例的逻辑,不同执行会话中这些变量/数据的变化会导致生成的用例数改变。比如特定条件下用例被重复生成,或外部数据源新增条目,都会让总用例数增加。Allure结果目录未清理,统计重复数据
生成Allure报告前,若未清空之前的结果目录(allure-results),旧的测试结果文件会与新结果混合,导致Allure统计时将新旧用例数叠加。另外,如果测试用例的testCaseId不唯一,Allure会把重复ID的用例多次计数,也会造成总数波动。测试框架的重试/并行执行机制影响
若开启了失败用例自动重试,重试的用例会被Allure计入总执行数,而每日失败用例数量不同,会导致总数波动;部分测试框架的并行执行模式下,可能出现用例重复执行的情况,同样会让统计数超过固定值。Git拉取目标不固定
若Jenkins任务配置的不是拉取固定分支的特定提交(比如用了HEAD或动态标签),仓库中该分支的测试用例可能被修改,导致每次拉取的用例数不是固定的250个,最终反映在Allure报告中。
内容的提问来源于stack exchange,提问作者user3595231
相关产品推荐
相关产品推荐

