Jest UI测试集成ADO不稳定测试管理方案咨询

一、识别Jest中的不稳定测试 #

不稳定测试的核心特征是同一用例多次运行结果不一致（时而通过、时而失败）。你可以通过以下方式实现识别：

1. 利用Jest重试机制 + 自定义Reporter跟踪结果 #

Jest自带testRetryTimes配置，允许失败的测试自动重试。搭配自定义Reporter，我们可以跟踪每个测试用例的重试结果，统计通过率来判断是否不稳定。

2. 自定义重试逻辑（可选） #

如果需要更灵活的重试控制，也可以手动封装测试函数，针对特定用例添加重试逻辑，记录每次运行的状态。

二、调用ADO REST API的时机 #

最佳时机是整个测试套件运行完成后，汇总所有识别出的不稳定测试，批量调用API更新状态。避免单个测试结束就调用，减少API请求频率，提升效率。

注意：需要提前获取ADO的个人访问令牌（PAT），并确保该令牌拥有测试管理的读写权限。

三、示例代码 #

1. 自定义Jest Reporter（核心逻辑） #

创建FlakyTestReporter.js文件，实现跟踪测试结果并调用ADO API：

class FlakyTestReporter {
  constructor(globalConfig, options) {
    this.globalConfig = globalConfig;
    this.options = options;
    this.testStats = new Map(); // 存储每个测试的运行统计：key=测试全名，value={passes: 0, failures: 0}
  }

  // 监听单个测试结果
  onTestResult(test, testResult) {
    const testFullName = testResult.testResults[0].fullName;
    const isPassed = testResult.testResults[0].status === 'passed';

    if (!this.testStats.has(testFullName)) {
      this.testStats.set(testFullName, { passes: 0, failures: 0 });
    }

    const stats = this.testStats.get(testFullName);
    stats[isPassed ? 'passes' : 'failures'] += 1;
  }

  // 测试套件运行完成后处理
  async onRunComplete(contexts, results) {
    // 定义不稳定测试规则：至少运行3次，且既有通过又有失败（排除完全失败的用例）
    const flakyTests = [];
    this.testStats.forEach((stats, testName) => {
      const totalRuns = stats.passes + stats.failures;
      if (totalRuns >= 3 && stats.passes > 0 && stats.failures > 0) {
        flakyTests.push({
          testName,
          passRate: (stats.passes / totalRuns) * 100
        });
      }
    });

    if (flakyTests.length > 0) {
      await this.syncToADO(flakyTests);
    }
  }

  // 调用ADO API同步不稳定测试
  async syncToADO(flakyTests) {
    const orgName = '你的ADO组织名';
    const projectName = '你的ADO项目名';
    const pat = process.env.ADO_PAT; // 从环境变量读取PAT，禁止硬编码
    const apiEndpoint = `https://dev.azure.com/${orgName}/${projectName}/_apis/test/flakytestmanagement/flakytests?api-version=7.1-preview.1`;

    // 构造请求体，匹配ADO API要求的格式
    const payload = flakyTests.map(test => ({
      testCaseTitle: test.testName,
      // 如果有对应的ADO测试用例ID，这里可以添加testCaseId字段，匹配更精准
      flakyStatus: 'flaky', // 可选值：flaky / notFlaky
      detectionMethod: 'Jest自定义检测'
    }));

    try {
      const response = await fetch(apiEndpoint, {
        method: 'POST',
        headers: {
          'Content-Type': 'application/json',
          'Authorization': `Basic ${Buffer.from(`:${pat}`).toString('base64')}`
        },
        body: JSON.stringify(payload)
      });

      if (!response.ok) {
        throw new Error(`API请求失败：${response.statusText}`);
      }

      const resData = await response.json();
      console.log(`成功同步${resData.count}个不稳定测试到ADO`);
    } catch (err) {
      console.error('同步不稳定测试失败：', err.message);
    }
  }
}

module.exports = FlakyTestReporter;

2. Jest配置文件修改 #

在jest.config.js中启用重试机制并添加自定义Reporter：

module.exports = {
  testRetryTimes: 3, // 失败测试重试3次，确保有足够数据判断稳定性
  reporters: [
    'default', // 保留默认输出
    './FlakyTestReporter.js' // 添加自定义Reporter
  ]
};

四、额外建议 #

• PAT安全：在Azure Pipelines中，将ADO_PAT设置为保密变量，避免泄露。
• 测试用例匹配：如果你的Jest测试和ADO测试用例一一对应，建议在测试代码中添加注释或元数据记录测试用例ID，同步时传入testCaseId字段，避免标题重复导致的匹配错误。
• 阈值调整：根据团队需求修改不稳定测试的判断规则，比如调整重试次数、失败占比阈值等。
• CI/CD集成：将Jest测试任务集成到Azure Pipelines中，确保每次流水线运行时自动检测并同步不稳定测试。

内容的提问来源于stack exchange，提问作者hasan.in