符合成功率标准但Taurus测试仍失败，原因是什么？

问题描述 #

在Azure YAML流水线中使用Taurus执行JMX性能测试，流水线定义了成功率参数SuccessRate: '97%'，配置了passfail判定规则和JUnit报告发布任务。但实际测试成功率达到99.8%时，流水线仍标记测试失败，不符合预期的97%通过标准。

相关配置代码：

parameters:
  SuccessRate: '97%'

- task: TaurusRunner@0
  displayName: 'Run Tests'
  inputs:
    taurusConfig: |
      ...
      reporting:
        - module: junit-xml
          filename: taurus-output/TEST-Taurus.xml
        - module: passfail
          criteria:
        - success<${{ parameters.SuccessRate }}, continue as failed
      ...

- task: PublishTestResults@2
  displayName: 'Publish Test Result'
  inputs:
    testResultsFormat: 'JUnit'
    testResultsFiles: 'taurus-output/TEST-Taurus.xml'
    failTaskOnFailedTests: true

原因分析 #

出现这个问题的核心原因有两个：

1. YAML缩进错误，判定条件未被正确识别 #

当前配置中，success<${{ parameters.SuccessRate }}, continue as failed这一行的缩进层级错误，它被当作reporting模块的子项，而非passfail模块下的criteria子项。这导致Taurus的passfail规则没有实际配置判定条件，触发了默认失败逻辑。

2. 百分比格式无法被Taurus正确解析 #

流水线参数SuccessRate是带%符号的字符串（'97%'），而Taurus的passfail判定条件要求使用纯数值进行比较。直接传入带%的字符串会导致数值解析失败，进而引发错误的条件判断。

解决方案 #

步骤1：修正YAML缩进 #

将判定条件作为passfail模块的criteria子项，调整后的配置如下：

reporting:
  - module: junit-xml
    filename: taurus-output/TEST-Taurus.xml
  - module: passfail
    criteria:
      - success < ${{ replace(parameters.SuccessRate, '%', '') }}, continue as failed

步骤2：适配Taurus的数值格式 #

根据Taurus中success指标的计算方式，选择对应的数值转换方式：

• 如果success指标以百分比数值（0-100）返回：使用replace函数去掉%符号，直接转换为数字即可（如示例中的配置）。
• 如果success指标以比例值（0-1）返回：需要将百分比转换为小数，配置如下：

  criteria:
    - success < ${{ div(int(replace(parameters.SuccessRate, '%', '')), 100) }}, continue as failed
  

验证逻辑 #

修正后的配置会正确判定：当测试成功率低于设定的阈值时，标记测试为失败；高于阈值时则正常通过。

内容的提问来源于stack exchange，提问作者CodeMonkey