TensorFlow保存模型精度不一致问题技术咨询

我之前在做医疗信号处理的模型时也碰到过一模一样的问题，结合你的1D ECG CNN训练场景，给你梳理几个最可能的原因和对应的解决办法：

1. 没固定全局随机种子，导致结果不可复现 #

TensorFlow里的权重初始化、数据shuffle、甚至某些层的内部操作都带有随机性，如果训练和加载模型时没固定随机种子，哪怕是同一套代码，结果也会出现偏差。

解决办法：
在代码最开头就设置好全局随机种子，覆盖TensorFlow和NumPy的随机生成器：

import tensorflow as tf
import numpy as np

# TensorFlow 1.x 版本的随机种子设置
tf.set_random_seed(42)
np.random.seed(42)

如果你的数据加载过程中有shuffle操作（比如tf.data.Dataset.shuffle()），也要给它指定固定的seed参数。

2. BatchNorm/Dropout层没切换到评估模式 #

虽然你没提到模型里用了这两层，但很多CNN模型会加入它们提升性能。这类层在训练模式和评估模式下的行为完全不同：

• BatchNorm训练时会更新均值/方差，评估时用训练好的统计值
• Dropout训练时会随机失活神经元，评估时保留所有神经元

如果加载模型推理时没切换到评估模式，输出结果会波动，精度自然不一致。

解决办法：
如果模型里有这类层，一定要在推理时传入对应的模式标记：

# 定义模型时，加入is_training占位符区分模式
is_training = tf.placeholder(tf.bool, name='is_training')
# 比如定义BatchNorm层时指定training参数
conv_output = tf.layers.conv1d(inputs=ecg_input, filters=32, kernel_size=3)
bn_output = tf.layers.batch_normalization(conv_output, training=is_training)

# 训练时传入True
sess.run(train_step, feed_dict={is_training: True, x: train_data, y: train_labels})
# 推理/评估时传入False
test_acc = sess.run(accuracy, feed_dict={is_training: False, x: test_data, y: test_labels})

如果用SavedModel格式保存模型，推荐用tf.saved_model.simple_save，它会自动帮你处理模式切换的逻辑。

3. 模型保存不完整，遗漏关键变量 #

如果只保存了卷积、全连接层的权重，却漏掉了BatchNorm的均值/方差、优化器的状态变量（比如Adam的动量项），加载后的模型状态和训练完成时完全不一样，精度肯定会出问题。

解决办法：
用tf.train.Saver()默认保存所有可训练变量，不要手动指定变量列表：

# 定义Saver，默认保存所有全局变量
saver = tf.train.Saver()

# 训练完成后保存模型
saver.save(sess, './ecg_model/model.ckpt')

# 加载模型时
saver.restore(sess, './ecg_model/model.ckpt')

更推荐用SavedModel格式保存，它能保存完整的计算图和变量，兼容性更好：

tf.saved_model.simple_save(
    sess,
    './saved_ecg_model',
    inputs={'ecg_input': ecg_input},
    outputs={'predictions': softmax_output}
)

4. 训练和推理时的数据预处理不一致 #

ECG信号的预处理（比如归一化、标准化）对模型精度影响很大，如果训练时用的是训练集的均值/标准差，推理时却用了整个数据集的统计值，甚至没做预处理，输入数据分布不一致，模型输出肯定会偏差。

解决办法：

• 训练时计算好训练集的均值、标准差等统计量，保存下来：

train_mean = np.mean(train_ecg_data)
train_std = np.std(train_ecg_data)
np.save('./ecg_train_stats.npy', [train_mean, train_std])

• 推理时加载这些统计量，用和训练时完全相同的逻辑预处理数据：

train_mean, train_std = np.load('./ecg_train_stats.npy')
test_ecg_data = (test_ecg_data - train_mean) / train_std

另外，推理时要关闭所有数据增强操作（比如随机裁剪、噪声注入），这些只应该在训练时用。

5. 浮点精度或硬件环境差异 #

如果训练用的是GPU（float32），推理用的是CPU（可能默认float64），或者手动设置了不同的浮点精度，可能会出现微小的精度差异。不过这种差异一般不会很大，如果你的精度偏差明显，还是优先排查前面的问题。

解决办法：
确保训练和推理时用相同的浮点精度：

tf.set_default_dtype(tf.float32)

尽量在相同的硬件环境下运行训练和推理，避免跨平台的精度差异。

另外，你代码里的correct_predi看起来没写完，要是有完整的准确率计算代码，也可以检查下是否在推理时的计算逻辑和训练时完全一致。

内容的提问来源于stack exchange，提问作者H.H