关于tf.distribute.MirroredStrategy有效批量大小的技术咨询

在tf.distribute.MirroredStrategy中，代码里配置的batch_size就是全局的有效批量大小，每个GPU会负责处理这个批量的1/GPU数量份样本。需要注意的是，配置的batch_size必须能被GPU数量整除，否则会出现样本分配不均的问题（部分TensorFlow版本会自动调整，建议提前保证整除）。

针对你的具体场景：

• 不使用分布式策略时，设置batch_size=1，有效批量就是1，由单GPU处理这1个样本。
• 如果使用8块GPU，且希望有效批量大小为1，理论上应设置batch_size=1，但这样每个GPU分到的样本数为0.125，显然不符合实际样本分配逻辑。这种情况下，你大概率是想让每个GPU处理1个样本，此时全局有效批量大小为8，需要设置batch_size=8。

核心逻辑总结：

• 有效批量大小 = 代码中配置的batch_size
• 单GPU处理的样本数 = 代码中配置的batch_size ÷ GPU数量

内容的提问来源于stack exchange，提问作者Marco