为何无状态LSTM在不同batch_size下预测结果存在差异？

我在针对大型数据集实验无状态LSTM模型，试图理解batch_size对预测结果的影响。原本认为model.predict中的batch_size仅决定模型单次生成的输出样本数量，不会影响模型配置或其他参数，但实际测试发现，使用不同batch_size进行预测时，结果存在细微差异。

以下是复现该现象的示例代码：

import numpy as np
import pandas as pd
from keras.models import Sequential
from keras.layers import LSTM, Dense

# 生成样本数据
data = np.random.rand(200, 10, 30)
target = np.random.rand(200, 1)

# 创建简单的无状态LSTM模型
model = Sequential()
model.add(LSTM(32, input_shape=(10, 30)))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')

# 在样本数据上训练模型
model.fit(data, target, epochs=5, batch_size=32)

# 生成新的测试数据
test_data = np.random.rand(20, 10, 30)

# 使用batch_size=1进行预测
batch_size_1 = 1
model.reset_states()
preds_1 = model.predict(test_data, batch_size=batch_size_1)

# 使用batch_size=10进行预测
batch_size_10 = 10
model.reset_states()
preds_10 = model.predict(test_data, batch_size=batch_size_10)

对比两个预测结果的一致性：

preds_1==preds_10

array([[False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [False],
       [ True],
       [False],
       [False],
       [ True],
       [ True],
       [False]])

可能的原因 #

• 浮点数计算精度差异：GPU或CPU在处理不同批次大小的张量运算时，浮点数的累加顺序、舍入方式存在差异。比如batch_size=1时是逐个样本串行计算，batch_size=10时是批量并行计算，底层运算的浮点精度累积路径不同，最终会产生极小的数值误差。
• Keras预测的内部优化逻辑：model.predict在处理不同批次时，可能触发不同的内部优化（如并行计算的线程调度、张量运算的融合优化等），这些优化不会改变模型的核心逻辑，但会导致结果出现可忽略的细微差异。
• 训练过程的随机性：模型训练时的权重初始化、Adam优化器的动量更新等环节存在随机性，这种随机性会让模型本身的权重带有微小的不确定性，进而导致不同批次预测结果出现细微偏差，但这类偏差通常在1e-6量级以内，属于正常范围。

可以通过计算绝对误差的最大值验证：np.max(np.abs(preds_1 - preds_10))，会发现误差极小，完全在浮点运算的精度允许范围内，不会影响模型的实际使用效果。

内容的提问来源于stack exchange，提问作者quartzl