TensorFlow TFRecord输入管道测试数据重复读取问题求助

Hey Parker，我碰到过不少类似的TFRecord加载问题，咱们一步步来排查哈！

这是最核心的第一步——如果你的TFRecord里根本没包含'100_left'这类图像，那输入管道再怎么调也没用。

• 写个小脚本遍历TFRecord，提取每个样本的文件名，统计覆盖情况和重复次数：

  import tensorflow as tf
  from collections import Counter
  
  def check_tfrecord(tfrecord_path):
      filenames = []
      # 匹配你写入TFRecord时的特征定义
      feature_description = {
          'filename': tf.io.FixedLenFeature([], tf.string),
          # 补充你实际用到的其他特征（比如image、label等）
      }
  
      for record in tf.data.TFRecordDataset(tfrecord_path):
          example = tf.io.parse_single_example(record, feature_description)
          # 把字节转成字符串文件名
          filename = example['filename'].numpy().decode('utf-8')
          filenames.append(filename)
  
      # 输出关键信息
      print(f"测试集总样本数：{len(filenames)}")
      print("重复次数Top5的文件：", Counter(filenames).most_common(5))
      print("'100_left'是否存在：", '100_left' in filenames)
      print("'1000_left'出现次数：", Counter(filenames)['1000_left'])
  
  # 替换成你的测试集TFRecord路径
  check_tfrecord("./test_dataset.tfrecord")
  

• 如果发现TFRecord里确实没有'100_left'，那问题出在生成TFRecord的环节：
  • 可能是遍历原始图像文件夹时，文件名匹配规则有问题（比如误写了正则，只匹配数字大于100的文件？）；
  • 也可能是写入时部分文件因为IO异常、格式错误被跳过了，可以检查生成脚本的日志或异常捕获逻辑。

官方CIFAR教程的训练集会用shuffle()和repeat()，但测试集的逻辑完全不同，很容易在这里踩坑：

• 测试集不该加shuffle()：如果测试集用了shuffle(buffer_size)，而buffer_size远小于50000，会导致数据集遍历到后期才会抽到部分样本，甚至如果遍历次数不够，某些样本根本没机会被抽到；
• 测试集绝对不能加repeat()：如果加了repeat()，模型会循环遍历测试集，自然会出现大量重复测试的情况；
• steps_per_epoch设置错误：比如测试集总样本50000，batch_size是32，那model.evaluate()的steps参数应该设为50000 // 32（或者留空让TF自动计算）。如果设得比实际需要的步数多，模型会重复抽取前面的样本补够步数。

检查你遍历测试集的方式是否正确：

• 用model.evaluate()或model.predict()时，确保传入的dataset是一次性遍历完整个测试集的，没有额外的重复逻辑；
• 可以用print(dataset.cardinality().numpy())查看数据集的声明样本数，如果输出不是50000，说明数据集加载时就有问题（比如只加载了部分TFRecord文件）。

有时候不是样本没出现，而是你解析文件名时出错了：

• 比如写入TFRecord时存的是完整路径（比如/data/images/100_left.jpg），但你检查时只看100_left，误以为没出现；
• 可以在前面的check脚本里打印完整的文件名，确认是否是解析时的字符串处理问题。

先从TFRecord本身的检查入手，这能最快定位问题根源，再一步步排查输入管道的设置~

内容的提问来源于stack exchange，提问作者Parker