如何对比Azure Release Pipeline不同版本测试结果，定位新增失败测试？

以下是几种高效找出新增失败测试的方案：

1. 用Azure DevOps自带的测试对比功能 #

Azure DevOps本身就支持直接对比两个测试运行的结果，步骤如下：

• 进入目标Release Pipeline的测试结果页面（在Release详情里找到“测试”标签）
• 点击页面右上角的对比按钮，选择你要对比的两个版本对应的测试运行实例
• 系统会自动生成对比报告，分类展示：
  • 新增的失败测试（前版通过、当前版失败）
  • 已修复的失败测试（前版失败、当前版通过）
  • 持续失败/持续通过的测试
    直接查看“新增失败”分类即可得到你要的结果。

2. 导出结果后用脚本自动化对比 #

如果需要更灵活的处理，可以把两个版本的测试结果导出为CSV格式，再用脚本筛选：

• 从Azure DevOps测试结果页面导出CSV（每个测试运行都有导出选项）
• 用PowerShell或Python写简单脚本对比，比如PowerShell示例：

  # 读取两个版本的测试结果文件
  $prev = Import-Csv "v1_test_results.csv"
  $curr = Import-Csv "v2_test_results.csv"
  
  # 筛选前版通过、当前版失败的测试用例
  $newFailures = foreach ($test in $curr) {
      $prevTest = $prev | Where-Object { $_.TestName -eq $test.TestName }
      if ($prevTest -and $prevTest.Outcome -eq "Passed" -and $test.Outcome -eq "Failed") {
          $test
      }
  }
  
  # 输出或保存结果
  $newFailures | Select-Object TestName, Outcome, ErrorMessage | Export-Csv "new_failures.csv" -NoTypeInformation
  

• 把这个脚本做成Pipeline里的一个任务，每次运行后自动生成新增失败用例的报告，省去手动操作。

3. 通过Azure DevOps API实现自动化对比 #

如果要集成到Pipeline里自动执行，可以调用Azure DevOps REST API获取测试结果，再做对比：

• 调用GET https://dev.azure.com/{org}/{proj}/_apis/test/runs/{runId}/results?api-version=7.1-preview.6获取指定测试运行的所有结果
• 编写脚本（比如PowerShell或Python）获取两个版本的测试数据，筛选出符合“前版通过、当前版失败”的用例
• 把这个脚本作为Pipeline的一个任务，运行后直接在Pipeline日志里输出新增失败用例，或者生成HTML报告附件。

4. 用第三方测试报告工具的历史对比功能 #

如果你的自动化测试用了Allure、Extent Reports这类工具，可以配置它们保留历史测试数据：

• 在每次Release运行时，生成测试报告并上传到Azure Blob存储或其他持久化存储
• 利用工具自带的历史对比功能，直接在报告中查看不同版本间的测试结果差异，快速定位新增的失败用例。

内容的提问来源于stack exchange，提问作者bobe_b