如何使用TestNG重复执行Java测试用例直至失败？

TestNG完全可以实现「重复执行不稳定测试直至失败」的需求，核心是自定义反向逻辑的重试器——和常规的「失败后重试」相反，我们让测试成功时继续重试，直到失败才停止。

具体实现步骤 #

1. 自定义重试分析器（IRetryAnalyzer）

实现TestNG的IRetryAnalyzer接口，改写重试逻辑：测试成功就返回true（继续执行），失败则返回false（停止）。

import org.testng.IRetryAnalyzer;
import org.testng.ITestResult;

public class RetryUntilFailAnalyzer implements IRetryAnalyzer {
    // 可选：设置最大重试次数，防止无限执行
    private static final int MAX_ATTEMPTS = 100;
    private int currentAttempt = 0;

    @Override
    public boolean retry(ITestResult result) {
        currentAttempt++;
        // 测试成功且未达最大次数，继续重试
        if (result.isSuccess() && currentAttempt < MAX_ATTEMPTS) {
            System.out.printf("测试成功，第%d次重试中...%n", currentAttempt);
            return true;
        }
        // 测试失败或达到次数上限，停止执行
        return false;
    }
}

2. 绑定重试器到测试用例

有两种绑定方式：

方式一：单个测试方法绑定

直接在测试方法上添加retryAnalyzer注解：

import org.testng.annotations.Test;

public class FlakyTests {
    @Test(retryAnalyzer = RetryUntilFailAnalyzer.class)
    public void unstableTest() {
        // 你的不稳定测试逻辑示例
        if (Math.random() < 0.1) {
            throw new RuntimeException("随机失败触发！");
        }
    }
}

方式二：全局批量绑定

如果有大量测试用例，用IAnnotationTransformer实现全局配置，无需逐个方法加注解：

import org.testng.IAnnotationTransformer;
import org.testng.annotations.ITestAnnotation;
import java.lang.reflect.Method;

public class RetryUntilFailListener implements IAnnotationTransformer {
    @Override
    public void transform(ITestAnnotation annotation, Class<?> testClass, Method testMethod) {
        annotation.setRetryAnalyzer(RetryUntilFailAnalyzer.class);
    }
}

然后在testng.xml中注册这个监听器：

<suite name="FlakyTestSuite">
    <listeners>
        <listener class-name="com.yourpackage.RetryUntilFailListener"/>
    </listeners>
    <test name="UnstableTestCollection">
        <classes>
            <class name="com.yourpackage.FlakyTests"/>
        </classes>
    </test>
</suite>

3. 查看日志输出

TestNG默认会打印每次测试的执行结果（成功/失败），如果你的测试用了日志框架（如SLF4J、Log4j），可以在测试方法中添加关键节点的日志语句，每次执行都会输出，直到失败时就能看到完整的执行历史和失败时的详细上下文日志。

注意事项 #

• 一定要设置最大重试次数：避免测试一直成功导致无限循环，上方代码中已通过MAX_ATTEMPTS限制次数。
• 可以结合TestNG的timeOut属性：给测试方法设置超时时间，防止单次测试执行过久。

内容的提问来源于stack exchange，提问作者labuladong