神经网络训练首轮最后迭代批量尺寸异常引发维度错误咨询

• 核心原因是训练数据集的总样本数没法被你设置的批量尺寸整除。比如你用批量64时，总样本数应该是64乘以某个整数再加54，前面的迭代都能取满64个样本，最后一轮就只能拿剩下的54个；换成批量32时，总样本数就是32乘整数加22，最后一轮自然只剩22个。
• 绝大多数深度学习框架（像PyTorch、TensorFlow）的DataLoader默认会保留最后这批不足量的样本，不会自动丢弃或者补全，所以就出现了最后一批维度和前面不一样的情况。
• 你遇到的维度错误，大概率是后续代码（比如损失计算、指标统计环节）硬写死了批量尺寸，或者某些层/操作要求输入必须是固定的批量大小导致的。

• 构建DataLoader时加个drop_last=True参数，直接丢掉最后一批不足批量尺寸的样本，这样每轮迭代的输出维度就都和批量尺寸一致了。但要注意，这会损失少量样本，如果你的数据集本身很小，可能会影响训练效果。
• 要是不想丢样本，可以给最后一批补全数据（比如重复部分样本、填充零或者其他占位符），保证批量大小统一。不过得留意补全的数据会不会干扰训练效果。
• 修改后续代码，让它支持动态批量尺寸，比如计算损失或指标时，别依赖固定的批量数值，而是根据输入的实际维度来动态计算。

内容的提问来源于stack exchange，提问作者Mehrshad Momen