如何让Allure报告套件层级用例因单测试数据失败显示为失败

核心原因 #

Allure默认重试逻辑会把失败的单组测试实例转移到「重试」标签页，并且仅以原用例的最后一次执行结果判定套件层级状态，忽略了重试标签页中存在失败实例的情况。

具体解决方法 #

1. 自定义Allure结果合并脚本 #

测试执行完成后，编写脚本遍历allure-results目录下的JSON结果文件，检查目标用例的所有实例（含重试）是否存在失败，若存在则修改原用例状态为失败：

示例Python脚本片段：

import json
import os

ALLURE_RESULTS_DIR = "allure-results"

def update_case_status():
    case_records = {}
    # 收集所有测试实例（含重试）的状态
    for file_name in os.listdir(ALLURE_RESULTS_DIR):
        if not file_name.endswith(".json"):
            continue
        file_path = os.path.join(ALLURE_RESULTS_DIR, file_name)
        with open(file_path, "r", encoding="utf-8") as f:
            data = json.load(f)
            case_name = data.get("name")
            status = data.get("status")
            # 判断是否为重试实例
            is_retry = data.get("historyId") is not None or any(label["name"] == "retry" for label in data.get("labels", []))
            
            if case_name not in case_records:
                case_records[case_name] = {"original_file": None, "has_failed": False}
            if is_retry:
                if status == "failed":
                    case_records[case_name]["has_failed"] = True
            else:
                case_records[case_name]["original_file"] = file_path
    
    # 修改原用例状态
    for case_info in case_records.values():
        if case_info["has_failed"] and case_info["original_file"]:
            with open(case_info["original_file"], "r+", encoding="utf-8") as f:
                data = json.load(f)
                data["status"] = "failed"
                f.seek(0)
                json.dump(data, f, indent=2)
                f.truncate()

if __name__ == "__main__":
    update_case_status()

2. 调整测试框架重试策略 #

放弃Allure默认重试集成，在测试框架层面控制重试，且保留所有失败实例在原用例下：

• 以pytest为例，使用pytest-rerunfailures插件时，仅配置--reruns=n，不启用Allure的重试关联逻辑。这样所有失败的测试实例会留在原用例下，只要有一组失败，套件层级就会显示失败。
• 注意：此方式会增加报告中实例的数量，但能保证状态判定准确。

3. 自定义Allure报告模板 #

修改Allure报告的前端渲染逻辑，在计算套件层级状态时，同时检查对应用例的重试实例是否存在失败：

• 找到Allure报告中负责状态渲染的JS文件（通常在allure-report/app.js或组件文件中）
• 修改状态判断逻辑，加入对重试实例的状态校验
• 重新生成报告

这种方式需要对Allure前端模板有一定了解，适合深度定制报告的场景。

内容的提问来源于stack exchange，提问作者josh