tf.keras.Model的predict方法中batch_size的作用与影响分析

基本意义 #

batch_size参数定义了每次送入模型执行前向预测的样本数量。如果不指定，Keras会自动根据输入数据规模和硬件情况选择合适的默认值。

对预测过程及结果的影响 #

• 内存占用
  批次越大，单次需要加载到CPU/GPU内存的样本数据、模型中间层张量就越多，容易触发内存溢出（OOM）错误；反之批次越小，内存压力越低，但会增加数据加载与模型调用的次数。

• 预测速度
  合理的批次大小能充分利用硬件的并行计算能力（比如GPU的CUDA核心），提升单批次处理效率，缩短总预测时间。但批次过大可能让硬件资源饱和，速度提升陷入瓶颈甚至下降；批次过小则会因频繁的数据传输、模型调度开销拖慢整体速度。

• 结果一致性
  多数情况下，batch_size不会改变最终预测结果（因为预测是确定性前向传播）。但如果模型包含依赖批次统计的层（比如未在推理时设置training=False的BatchNormalization、未关闭的Dropout），不同批次大小会因批次内统计量差异，导致预测结果出现细微波动。

• 硬件资源利用率
  合适的batch_size能让CPU、GPU的计算资源得到充分利用，避免硬件闲置。比如GPU显存充足时，设置较大批次可让GPU持续处于高负载状态，提升整体资源利用率。

内容的提问来源于stack exchange，提问作者NC520