TensorFlow Object Detection小批次采样及数据集循环问题咨询

我正在硕士学位项目中构建目标检测模型。在神经网络训练中，batch size是一项重要的超参数。此前了解到，每个mini-batch通常是从数据集中无放回随机采样得到的。但我对TensorFlow Object Detection（TFOD）的小批次采样机制存在疑问：

• TFOD是如何从训练数据中采样图像组成mini-batch的？是否为无放回随机采样？
• 若采用无放回采样且已遍历完数据集，后续会重复使用数据吗？

我尝试查看TFOD框架的内部函数，仅找到dataset_builder.build()函数，该函数仅用于构建就绪数据集，并不负责小批次采样，希望能得到解答，谢谢！

def build(
    input_reader_config,
    batch_size=None,
    transform_input_data_fn=None,
    input_context=None,
    reduce_to_frame_fn=None,
):
    """Builds a tf.data.Dataset."""

解答 #

1. 采样方式说明
   TFOD底层依托TensorFlow的tf.data数据管道实现mini-batch采样。默认训练流程中，会先对整个数据集执行全局随机打乱操作，之后按顺序抽取指定batch_size的样本组成mini-batch。这种模式并非严格的无放回随机采样（严格无放回需要每次采样后移除样本，会大幅降低大规模数据集的处理效率），而是通过epoch前的全局shuffle近似实现随机采样的效果。

2. 数据集遍历后的复用逻辑
   当完成一轮数据集遍历（即一个epoch结束），TFOD会自动重新打乱数据集（若配置了shuffle参数），随后开启下一轮epoch的采样，也就是重复使用整个数据集。这是深度学习训练的标准流程，通过多轮迭代让模型充分学习数据中的特征模式。

补充：dataset_builder.build()仅负责构建基础的数据集对象，采样、批次划分的核心逻辑是在tf.data.Dataset的shuffle()、batch()等后续方法中完成的，这些步骤已被封装在TFOD的训练流水线里，无需用户手动调用。

内容的提问来源于stack exchange，提问作者Павел Янко