如何在TensorFlow目标检测API的TensorBoard中显示纯负样本图像

我能理解你已经做了不少准备工作：修改难例挖掘参数、添加纯负样本到TFRecord、确认样本写入成功，但就是看不到可视化结果——这种情况大概率是纯负样本的特征结构不匹配Object Detection API可视化组件的预期，或者是配置里没开启负样本采样。下面是具体的排查和解决步骤：

1. 统一纯负样本与正常样本的特征结构 #

TensorFlow Object Detection API的可视化工具默认只识别包含完整标准字段的样本，哪怕是纯负样本，也需要保留所有image/object/...相关字段（只是值为空列表）。你当前的纯负样本特征缺少了很多必要字段，导致可视化代码直接跳过了这些样本。

修改纯负样本的特征构造代码，补充所有空列表形式的标准字段：

obj_features = {
  'image/height': dataset_util.int64_feature(height),
  'image/width': dataset_util.int64_feature(width),
  'image/filename': dataset_util.bytes_feature(filename),
  'image/source_id': dataset_util.bytes_feature(filename),
  'image/key/sha256': dataset_util.bytes_feature(key.encode('utf8')),
  'image/encoded': dataset_util.bytes_feature(encoded_jpg),
  'image/format': dataset_util.bytes_feature(image_format),
  # 补充空的object相关字段
  'image/object/bbox/xmin': dataset_util.float_list_feature([]),
  'image/object/bbox/xmax': dataset_util.float_list_feature([]),
  'image/object/bbox/ymin': dataset_util.float_list_feature([]),
  'image/object/bbox/ymax': dataset_util.float_list_feature([]),
  'image/object/class/text': dataset_util.bytes_list_feature([]),
  'image/object/class/label': dataset_util.int64_list_feature([]),
  'image/annotated': dataset_util.int64_feature(0)  # 自定义字段可以保留
}
tf_features = tf.train.Features(feature = obj_features)
tf_example = tf.train.Example(features = tf_features)

重新生成TFRecord后，可视化工具就能正确解析这些纯负样本了。

2. 开启config中的负样本可视化开关 #

在你的config文件的train_config部分，添加显式的负样本采样配置，强制可视化工具抽取负样本展示：

train_config {
  # 你的其他配置...
  visualization_config {
    max_num_images: 1000  # 你已经设置过的参数
    sample_negative_examples: true  # 开启负样本采样
  }
}

这个参数会让TensorBoard主动从数据中选取纯负样本进行可视化，避免默认只优先展示有标注的样本。

3. 验证数据pipeline是否正确加载纯负样本 #

有时候数据读取环节会过滤掉没有标注的样本，你可以写个简单的脚本确认纯负样本被正常加载：

import tensorflow as tf

def parse_example(example_proto):
    # 定义完整的特征描述
    feature_map = {
        'image/height': tf.io.FixedLenFeature([], tf.int64),
        'image/width': tf.io.FixedLenFeature([], tf.int64),
        'image/filename': tf.io.FixedLenFeature([], tf.string),
        'image/object/class/label': tf.io.VarLenFeature(tf.int64),
    }
    return tf.io.parse_single_example(example_proto, feature_map)

# 读取你的TFRecord文件
dataset = tf.data.TFRecordDataset('your_train.tfrecord')
dataset = dataset.map(parse_example)

# 查看前10个样本的标注情况
for sample in dataset.take(10):
    label_count = len(sample['image/object/class/label'].values)
    filename = sample['image/filename'].numpy().decode()
    print(f"文件: {filename}, 标注数量: {label_count}")

如果输出中有标注数量为0的样本，说明数据加载正常；如果没有，那你需要检查数据读取的预处理逻辑，确保没有过滤无标注样本。

4. 检查TensorBoard的显示选项 #

启动TensorBoard后，进入Images标签页，留意是否有下拉菜单或子标签可以切换显示负样本（比如某些版本中会有Negative Examples的分类）。有时候即使样本被加载了，也需要手动切换视图才能看到。

按照上面的步骤调整后，你应该就能在TensorBoard中看到纯负样本的可视化结果了。

内容的提问来源于stack exchange，提问作者Kantomon