TensorFlow SavedModel在Java与Python加载后预测结果不一致

你遇到的这个问题很典型——模型在Python中训练保存、跨脚本加载都正常，Java也能成功加载模型且权重正确，但就是预测结果不对。这种情况基本可以排除模型结构或权重加载的问题，问题大概率出在输入输出的细节匹配、或者SavedModel的使用方式上，下面结合你的代码给出具体的排查和解决方向：

1. 严格对齐输入张量的数据类型与形状 #

Python里numpy.array默认是float64类型，但如果你的模型输入占位符定义的是tf.float32，那Java中创建输入张量时必须用对应的float类型，不能用double；反之亦然。另外，输入的形状也要完全一致：

你的Python输入是(4,2)的二维数组，Java中创建张量时要明确指定形状：

// 示例：创建和Python输入形状、类型一致的张量
float[][] inputData = {{1f, 0f}, {0f, 1f}, {0f, 0f}, {1f, 1f}};
// 先把二维数组转成一维float数组，再指定形状为[4,2]
float[] flatInput = Arrays.stream(inputData)
                          .flatMapToFloat(Arrays::stream)
                          .toArray();
Tensor<Float> tensorInput = Tensor.create(new long[]{4, 2}, FloatBuffer.wrap(flatInput));

建议你先在Python中打印x_placeholder.dtype和x_placeholder.shape，确保Java端完全匹配。

2. 优先使用SavedModel的SignatureDef进行预测，而非直接硬编码张量名称 #

你在Python导出模型时定义了predict这个SignatureDef，但Java代码里直接用了or_inputs和hypothesis_output这两个张量名称。虽然看起来没问题，但SavedModel在导出过程中可能会对张量名称做隐式修改（比如添加命名空间前缀），导致Java中调用的张量和Python中实际的张量不匹配。

更稳妥的方式是通过SignatureDef来获取官方定义的输入输出名称：

SavedModelBundle model = SavedModelBundle.load("./orTrainingModels", "or");
MetaGraphDef metaGraph = model.metaGraphDef();
// 获取你在Python中定义的"predict"签名
SignatureDef predictSignature = metaGraph.getSignatureDefMap().get("predict");

// 从签名中拿到正确的输入输出张量名
String inputTensorName = predictSignature.getInputsMap().get("images").getName();
String outputTensorName = predictSignature.getOutputsMap().get("scores").getName();

// 用签名中的名称进行预测
Tensor result = model.session().runner()
    .feed(inputTensorName, tensorInput)
    .fetch(outputTensorName)
    .run().get(0);

这种方式完全遵循你导出模型时的约定，不会出现名称不匹配的问题。

3. 检查Java端Session的初始化状态 #

虽然SavedModelBundle.load会自动完成变量初始化，但有时候模型中如果包含一些特殊操作（比如lookup table、自定义初始化操作），可能需要手动触发初始化。你可以尝试在Java中添加一行初始化操作：

// 运行全局变量初始化（如果你的模型中有这个操作）
model.session().runner().run("init");

不过从你说权重已经加载正确来看，这个概率较低，但可以作为排查手段尝试。

4. 分步验证中间计算结果 #

如果上面的方法都没解决问题，建议你在Java中分步计算模型的中间结果，和Python中的结果对比，定位到出错的步骤：
比如先计算输入和权重的乘积加偏置的结果，再看激活函数的输出：

// 获取权重和偏置的数值，确认和Python一致（你已经做过这步）
Tensor weights = model.session().runner().fetch("da_weights").run().get(0);
// 计算输入的加权和（替换成你模型中对应张量的名称）
Tensor logits = model.session().runner()
    .feed("or_inputs", tensorInput)
    .fetch("your_logits_tensor_name")
    .run().get(0);

把这些中间结果和Python中sess.run得到的结果对比，就能快速找到是哪一步的计算出现了差异。

内容的提问来源于stack exchange，提问作者JsFlo