Azure DevOps中Swift快照测试未按预期失败问题排查求助

问题描述 #

我们使用Swift Snapshot Testing框架已有一段时间，本地测试运行正常。代码托管在Azure DevOps，CI/CD流程也在此管理，主分支已提交录制好的快照（isRecording = true阶段已完成）。修改源码（变更文本内容）后，本地测试正常失败（符合预期，因为快照不一致），但在Azure DevOps执行xcodebuild时所有测试全部通过，且用XCParse提取.xcresult文件时未找到任何快照截图。

相关配置 #

Azure DevOps Xcode任务配置 #

- task: Xcode@5
  inputs:
    actions: 'clean build test archive'
    configuration: '${{ parameters.configuration }}'
    sdk: '$(sdk)'
    scheme: '${{ parameters.scheme }}'
    xcodeVersion: '14'
    packageApp: true
    signingOption: 'manual'
    signingIdentity: '__signingidentity__
    provisioningProfileUuid: ${{ parameters.provisioningUuid }}
    destinationPlatformOption: 'iOS'
    destinationSimulators: 'iPhone 14 Pro,OS=16.2'
    args: '-verbose -derivedDataPath $(Build.BinariesDirectory)/derived'
    publishJUnitResults: true
    useXcpretty: false

生成的xcodebuild命令 #

xcodebuild -sdk iphoneos -configuration TST -workspace ../project.xcworkspace -scheme Release -destination platform=iOS Simulator,name=iPhone 14 Pro,OS=16.2 clean build test archive -verbose -derivedDataPath /Users/runner/work/1/b/derived CODE_SIGN_STYLE=Manual CODE_SIGN_IDENTITY=__signingIdentity__ PROVISIONING_PROFILE=__guid__ PROVISIONING_PROFILE_SPECIFIER=

可能的原因及排查方向 #

1. 快照测试在CI环境中被跳过 #

• 检查测试代码是否包含环境判断逻辑：比如是否通过#if DEBUG或运行时环境变量限制仅在Debug模式执行快照测试，而CI使用的是TST/Release配置，导致测试未被执行。
• 查看CI任务日志：搜索快照测试的类名、方法名，确认测试是否实际运行，还是被标记为跳过。

2. 快照文件路径或拉取异常 #

• 验证CI环境的快照文件：确认主分支的__Snapshots__目录已被正确拉取到CI机器，未被.gitignore排除；检查测试运行时的工作目录，确认框架能找到基准快照文件。
• 检查derivedDataPath的影响：CI中指定的派生数据目录可能导致生成的新快照被存放在临时路径，后续被清理，且未与基准快照比对。

3. xcodebuild命令参数冲突 #

• 拆分clean build test archive流程：同时执行test和archive可能导致阶段冲突，尝试分开执行测试与归档任务，确保测试阶段完整运行。
• 修正SDK参数：当前命令使用-sdk iphoneos（真机SDK）但指定了模拟器destination，改为-sdk iphonesimulator，确保测试在模拟器环境运行（Swift Snapshot Testing依赖模拟器图形渲染）。
• 检查scheme配置：确认CI使用的Release scheme已启用快照测试target，且测试阶段包含相关用例。

4. 签名配置干扰测试 #

• 模拟器测试无需真机签名：CI任务中设置的手动签名是针对真机的，尝试在测试阶段将签名选项改为auto，或移除测试阶段的签名参数，避免签名错误导致测试静默失败。
• 排查测试启动日志：在xcodebuild日志中搜索test session exited、failed to launch等关键词，确认是否存在测试启动失败但未被标记为测试失败的情况。

5. 快照录制/比对逻辑异常 #

• 检查isRecording的动态设置：确认CI环境中isRecording是否被意外设为true（比如通过环境变量），导致每次运行都重新录制快照但未提交，从而测试不会失败；可在测试代码中添加日志输出isRecording的实际值。
• 验证异步逻辑：如果测试包含异步操作，确认是否已等待操作完成再生成快照，避免CI环境速度快导致快照生成时内容未更新，与基准快照一致。

内容的提问来源于stack exchange，提问作者Mittchel