tf.keras.Model.fit设置validation_steps致验证数据耗尽问题解析

一、「验证数据耗尽」报错的原因 #

先算笔账：10000条测试数据，batch_size=8，10000/8=625，刚好整除，但问题就出在数据集迭代器的遍历逻辑上：当数据集总数是batch_size的整数倍时，迭代器返回最后一批（第625批）后就彻底空了。Keras在执行validation_steps=625时，取完第625批数据后会检测到迭代器已经耗尽，随即抛出「验证数据耗尽」的错误。

举个更直观的例子：假设只有8条测试数据，batch_size=8，设置validation_steps=1。迭代器返回第一批后就没数据了，Keras完成这一步时会检测到迭代器空了，直接报错。但如果把步数设为小于实际批次数（比如这里的624），Keras跑完指定步数就停止，不会触发耗尽检测，自然就正常运行了。

二、关于文档「仅适用于tf.data数据集」的说明 #

文档这个描述确实容易误导人，实际情况是：

• 对于tf.data.Dataset，validation_steps明确限制验证时的迭代步数，但如果设置的步数超过数据集实际能提供的批次数，就会触发耗尽报错（就是你碰到的情况）。
• 对于numpy数组/迭代器，Keras内部会自动把它们包装成类似tf.data的迭代器，所以validation_steps的作用逻辑和tf.data完全一致——同样会限制步数，且当步数等于实际批次数时，因为最后一批取完迭代器就空了，必然报错。

文档的原意应该是想强调：像Pandas DataFrame这类没有被包装成迭代器的非tf.data输入，validation_steps可能不生效，但numpy数组会被自动转成迭代器，所以会受影响。

三、可行的解决办法 #

有两种常用处理方式，按需选择：

• 办法一：将validation_steps设为实际批次数减1：比如你这里用624，这样验证时不会触发迭代器耗尽检测，唯一的小缺点是少验证最后16条数据（624*8=9984，差16条到10000）。
• 办法二：让验证数据集循环迭代：给tf.data.Dataset加上repeat()，比如val_dataset = val_dataset.repeat()，这样迭代器永远不会耗尽，Keras跑完指定的validation_steps就自动停止。如果是numpy数组，可以用tf.data.Dataset.from_tensor_slices转成tf.data数据集后再加repeat，或者手动写一个循环迭代的生成器。

另外，如果你不需要严格控制验证步数，完全可以不设置validation_steps，Keras会自动遍历整个验证数据集，既不会报错，还能验证所有10000条数据，这其实是最省心的方案。

内容的提问来源于stack exchange，提问作者mon