Azure中自动化测试失败但步骤显示成功，原因是什么？

我有一套代码提交时触发的自动化API测试套件，测试运行后部分测试按预期失败，但执行测试的步骤返回成功状态，进而导致整个作业成功，这属于不正确的行为。

当前使用的Azure DevOps流水线配置如下：

parameters:
- name: testScriptDisplayName
  type: string
- name: testScript
  type: string

trigger:
  branches:
    include:
      - main

steps:
- task: NodeTool@0
  inputs:
    versionSpec: '18.x'
  displayName: 'Install Node.js'

- script: |
    ls -a
  displayName: 'Explore output directory'
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'

- script: |
    npm install
    npx playwright install --with-deps
  displayName: "npm install"
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'

- script: |
    ${{ parameters.testScript }}
    ls -a
  displayName: ${{ parameters.testScriptDisplayName }}
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'
  failOnStderr: true
  continueOnError: false
  env:
    CI: true

- task: PublishTestResults@2
  displayName: 'Publish test results'
  condition: succeededOrFailed()
  inputs:
    testRunner: JUnit
    testResultsFiles: '**/e2e-junit-results.xml'
    # don't need to use searchFolder
    #searchFolder: 'ts/playwright'

问题原因分析 #

1. 命令退出码被覆盖：脚本步骤中，最后一条命令的退出码会作为整个步骤的最终状态码。即使${{ parameters.testScript }}执行失败返回非0码，后续的ls -a命令执行成功返回0，整个步骤就会被判定为成功。
2. failOnStderr: true不可靠：该配置会将任何标准错误输出视为步骤失败，但部分测试框架在测试失败时不一定会输出内容到stderr，或者正常日志也可能写入stderr，无法准确判断测试是否真的失败。

解决方案 #

方案1：保留调试命令但传递测试脚本的退出码 #

修改测试步骤的脚本逻辑，捕获测试命令的退出码，最后返回该码，确保步骤状态由测试结果决定：

- script: |
    # 执行测试命令并保存退出码
    ${{ parameters.testScript }}
    TEST_EXIT_CODE=$?
    # 执行调试用的ls命令
    ls -a
    # 返回测试命令的退出码
    exit $TEST_EXIT_CODE
  displayName: ${{ parameters.testScriptDisplayName }}
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'
  continueOnError: false
  env:
    CI: true

方案2：启用脚本严格模式（快速失败） #

使用set -e让bash脚本在任何命令返回非0时立即终止，这样测试失败会直接终止步骤，不会执行后续命令：

- script: |
    set -e
    ${{ parameters.testScript }}
    ls -a
  displayName: ${{ parameters.testScriptDisplayName }}
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'
  continueOnError: false
  env:
    CI: true

注意：set -e会让脚本中任何命令失败都终止，若后续有必须执行的命令，建议用方案1。

方案3：移除不必要的调试命令 #

如果ls -a仅用于调试，正式流水线中可以直接移除，让测试命令的退出码直接作为步骤的状态码：

- script: |
    ${{ parameters.testScript }}
  displayName: ${{ parameters.testScriptDisplayName }}
  workingDirectory: '$(Build.Repository.LocalPath)/API/API-Tests'
  continueOnError: false
  env:
    CI: true

额外验证 #

确认${{ parameters.testScript }}对应的Playwright命令在测试失败时确实返回非0退出码。可以在本地运行该命令，执行后输入echo $?查看返回值，若为非0则符合预期；若为0，需要检查Playwright配置是否被修改（比如自定义报告逻辑覆盖了退出码）。

内容的提问来源于stack exchange，提问作者Nikolay Advolodkin