如何配置Azure Pipeline仅重试失败测试，避免重跑全部测试？

核心思路 #

放弃retryCountOnTaskFailure的全局任务重试，转而采用测试框架级别的精准重试 + Pipeline层面的结果驱动执行，只针对失败的测试用例重试，而非重新运行全部测试。

具体实现方案 #

1. 测试框架内置失败重试（优先推荐） #

主流测试框架都支持仅重跑失败用例的功能，无需大幅改动Pipeline逻辑：

• JUnit 5：用@RetryTest标记不稳定测试，或通过配置文件全局设置重试规则：

  # junit-platform.properties
  junit.jupiter.retry.maxAttempts = 3
  junit.jupiter.retry.delay = 1000
  

  也可结合@Tag("flaky")给不稳定测试打标签，仅对标签用例启用重试。
• TestNG：自定义RetryAnalyzer实现重试逻辑，绑定到测试类/方法：

  public class RetryAnalyzer implements IRetryAnalyzer {
      private int retryCount = 0;
      private static final int MAX_RETRY = 2;
      @Override
      public boolean retry(ITestResult result) {
          if (retryCount < MAX_RETRY && result.getStatus() == ITestResult.FAILURE) {
              retryCount++;
              return true;
          }
          return false;
      }
  }
  

  然后在测试上添加@RetryAnalyzer(RetryAnalyzer.class)注解。
• PyTest：使用pytest-rerunfailures插件，命令行指定重试次数：

  pytest --reruns 2 --reruns-delay 1
  

2. Pipeline层面的增量重试 #

若需在Pipeline层面控制，可拆分测试流程，仅重跑失败用例：

• 步骤1：全量测试后生成失败用例列表

  # Maven示例：运行测试并提取失败用例到文件
  mvn test || mvn surefire-report:report-only
  grep -A 1 "Failed Tests" target/site/surefire-report.html | grep -E "[a-zA-Z0-9#.]+" | sed 's/.*\([a-zA-Z0-9#.]\+\).*/\1/' > failed-tests.txt
  

• 步骤2：判断失败用例文件非空时，仅执行这些用例

  // Jenkins Pipeline示例
  stage('Run Full Tests') {
      steps {
          sh 'mvn test'
      }
      post {
          failure {
              sh 'grep -A 1 "Failed Tests" target/site/surefire-report.html | grep -E "[a-zA-Z0-9#.]+" | sed \'s/.*\\([a-zA-Z0-9#.]\\+\\).*/\\1/\' > failed-tests.txt'
          }
      }
  }
  
  stage('Retry Failed Tests') {
      when {
          expression { fileExists('failed-tests.txt') && readFile('failed-tests.txt').trim() != '' }
      }
      steps {
          script {
              def failedTests = readFile('failed-tests.txt').trim().join(',')
              sh "mvn test -Dtest=${failedTests}"
          }
      }
  }
  

3. 禁用全局任务重试，聚焦针对性修复 #

直接移除retryCountOnTaskFailure参数，将重试逻辑限定在不稳定测试本身：

• 给所有不稳定测试打标记，单独配置重试规则，避免浪费稳定测试的执行资源。
• 对于环境类失败（如数据库连接超时），单独捕获异常后重试依赖服务，而非整个测试任务。

关键注意事项 #

• 保证测试用例独立性：失败用例单独重跑时，不能依赖其他用例的执行状态，否则会导致结果误判。
• 记录重试日志：明确标记被重试的用例及结果，便于后续排查不稳定测试的根本原因。
• 定期清理不稳定测试：重试只是临时方案，长期需修复这些用例，从根源解决问题。

内容的提问来源于stack exchange，提问作者Lewis