AWS SageMaker与Windows端Keras模型推理结果差异排查咨询

1. 模型导出/转换环节问题 #

• 检查导出模型时的权重保存精度：Windows环境下导出时是否默认用了float32之外的精度，比如部分场景下Windows平台导出时可能误开启mixed_precision全局配置未重置，导致导出权重精度降级
• 验证SavedModel计算图一致性：分别在Windows本地和SageMaker环境加载模型后，打印模型所有可训练变量的数值总和做对比，如果总和不一致说明模型导出/传输过程出现损坏
• 检查Keras转SavedModel的方式是否正确：禁止用model.save()之后直接重命名后缀的方式，正确导出方式为tf.saved_model.save(model, export_dir)，导出后可以用saved_model_cli工具在两端分别查看输入输出签名是否完全匹配
• 检查模型文件传输完整性：跨平台传输SavedModel文件夹时避免用ASCII模式的传输协议，传输完成后可以对比所有文件的MD5哈希值，确认传输过程没有出现文件损坏

2. 推理模式与随机算子配置差异 #

• 确认模型导出和加载时都切换到了推理模式：显式设置tf.keras.backend.set_learning_phase(0)，推理时调用模型也传入training=False参数，避免Dropout、RandomFlip这类训练推理行为不一致的层产生非预期输出
• 确认所有随机种子在两端都做了固定，包括TensorFlow全局随机种子、操作系统层面的随机种子配置

3. 输入输出处理的隐性差异 #

• 绕过数据读取链路验证：直接用tf.constant构造完全相同的固定值张量作为输入，分别在本地和SageMaker侧传入模型对比输出，如果此时结果仍不一致，可排除数据处理环节问题，定位到模型本身的加载/运行差异
• 检查数据类型隐性转换：Windows环境下读取输入数据的默认编码、数值类型转换逻辑（比如图片从uint8转float32时是否统一除以255、舍入规则是否一致）是否和SageMaker Linux环境完全对齐
• 检查SageMaker推理容器的默认处理逻辑：部分官方TensorFlow推理容器默认会对输入的JSON/CSV数据做自动类型转换，导致传入模型的张量和本地构造的张量存在数值差异

4. 运行环境的底层差异 #

• 统一两端推理硬件：如果Windows本地用GPU推理、SageMaker端点用CPU部署（或反之），不同硬件的浮点计算精度存在天然差异，尤其是大量卷积、矩阵乘法运算场景下差异会被放大，统一硬件类型后再做对比
• 关闭所有算子优化对齐计算逻辑：两端都开启tf.config.optimizer.set_jit(False)关闭XLA优化，同时设置tf.config.experimental.enable_tensor_float_32_execution(False)关闭TF32精度优化，排除优化逻辑带来的计算差异
• 检查非法数值的处理逻辑：Windows和Linux环境下对NAN、INF这类非法数值的默认处理规则不同，如果模型计算过程中出现异常值，两端的兜底处理差异会导致最终输出完全不同

5. 精度累积差异定位 #

• 对于层数较深的模型，微小的精度差异经过多层计算后会被放大，可以逐层打印模型中间层的输出值，定位到首次出现差异的层，针对该层的参数和算子实现做专项排查

内容的提问来源于stack exchange，提问作者Eli7