部署TensorFlow Keras模型到Amazon SageMaker后预测结果与本地不一致问题问询

这种0与0.49左右的显著结果差异不属于正常浮点计算误差范围，大概率是部署环节的配置错误导致，以下是具体排查思路和解决方案：

异常原因初步判定 #

该级别的结果差异既不是数据传输损坏导致，也极少是权重被重新初始化引发，绝大多数情况是模型导出、输入预处理、推理框架版本不匹配、模型结构不一致四类问题导致。

具体排查步骤 #

• 第一步：核对本地训练环境与SageMaker端点的TensorFlow版本一致性
  本地执行print(tf.__version__)，在SageMaker推理脚本中打印版本日志做对比，跨大版本（比如本地用TF2.x、SageMaker用TF1.x，或者小版本跨度超过3个）的模型导入，经常出现权重加载异常、算子实现不一致的问题。
• 第二步：验证模型导出环节的正确性
  把准备上传到S3的SavedModel文件在本地重新加载后执行推理，对比和原Keras模型的预测结果：

  loaded_model = tf.keras.models.load_model("你的导出模型路径")
  print(loaded_model.predict(data))
  

  如果该结果和原model.predict的结果不一致，说明是模型导出环节出错，和SageMaker部署无关，需要重新导出模型。
• 第三步：核对SageMaker侧的输入预处理逻辑
  检查SageMaker推理脚本（inference.py）里的input_handler函数，确认有没有额外对输入做归一化、通道顺序调整（比如RGB转BGR）、数据类型转换操作。你本地直接给模型喂的是np.float64类型的随机数，要是SageMaker侧误把输入做了除以255的归一化、或者转成uint8再转回float，都会导致结果完全错位。
• 第四步：核对输出层的激活函数配置
  检查部署用的模型有没有误加sigmoid/softmax激活层，本地测试的时候是不是用了没有加激活层的中间输出。比如你本地是直接拿logits输出，部署的时候导出的是加了sigmoid的概率输出，0的logits过sigmoid刚好是0.5左右，和你给出的测试结果完全吻合。

针对性解决方案 #

• 如果是版本不匹配：部署的时候指定和本地一致的TensorFlow版本，SageMaker创建Model的时候，通过framework_version参数指定对应版本即可。
• 如果是模型导出错误：导出SavedModel的时候先做本地验证，确认导出的模型预测结果和原模型一致再上传部署。
• 如果是预处理逻辑不一致：统一本地和SageMaker侧的预处理逻辑，要么两边都做相同的归一化/通道转换，要么都直接喂原始数据。
• 如果是输出层不一致：导出模型的时候和本地测试用的模型保持完全一致的结构，不要额外修改输出层。

内容的提问来源于stack exchange，提问作者Ishara Abeykoon