如何运行lstm_object_detection代码训练及制作类ImageNet VID自定义数据集？

一、运行lstm_object_detection训练步骤 #

1. 环境与依赖准备 #

• 安装匹配代码的TensorFlow版本（建议TF 2.x，对应models库main分支）
• 克隆官方models库后，进入research目录，编译proto文件：

  protoc object_detection/protos/*.proto --python_out=.
  

• 添加Python路径（终端临时生效）：

  # Linux/macOS
  export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim
  # Windows
  set PYTHONPATH=%cd%;%cd%\slim
  

• 安装依赖包：

  pip install -r object_detection/requirements.txt
  

2. 训练配置修改 #

• 从lstm_object_detection/samples/configs中选择适配的配置文件（比如ssd_mobilenet_v2_lstm_coco.config），复制到你的工作目录
• 关键配置项修改：
  • 修改num_classes为你的数据集类别总数
  • 调整train_input_reader下的tf_record_input_reader.input_path指向训练集TFRecord文件，label_map_path指向你的标签映射文件（每行格式：id: '类别名'）
  • 同理修改eval_input_reader的验证集路径和标签文件
  • 可选：调整lstm_sequence_length（连续输入帧数，默认10）、lstm_state_depth等时序参数

3. 启动训练与监控 #

• 用TF2的启动脚本：

  python object_detection/model_main_tf2.py --model_dir=./train_logs --pipeline_config_path=./your_config.config
  

• 启动TensorBoard监控训练：

  tensorboard --logdir=./train_logs
  

二、自定义视频目标检测数据集制作 #

1. 标注环节 #

• 选用CVAT或LabelImg（推荐CVAT，支持序列帧标注与跟踪ID分配）
• 对连续视频帧标注：给同一个目标在所有出现的帧中分配相同的跟踪ID，记录目标的bbox与类别
• 导出标注为PASCAL VOC（XML）或COCO（JSON）格式

2. 转换为TFRecord格式 #

• 参考官方object_detection/dataset_tools下的脚本（如create_pascal_tf_record.py），修改脚本适配你的标注格式
• 重点：将连续帧按固定长度（如10帧）分组为序列，确保每个序列内的目标跟踪ID连续，生成LSTM训练所需的序列TFRecord

三、制作类似ImageNet VID的数据集 #

ImageNet VID的核心是带跟踪ID的视频序列片段，包含部分标注帧与无标注帧，制作流程如下：

1. 数据收集 #

• 收集多样化视频，截取10-30帧的片段，保证目标在片段内连续出现（避免目标突然消失/出现）
• 按VID的结构，将每个片段放在单独的子目录下，命名规则统一（如vid_train/0000/）

2. 标注规范 #

• 给每个视频片段分配唯一ID，每个目标在片段内的所有帧用相同跟踪ID
• 采用间隔标注（如每5帧标注1次），降低标注成本；验证集需全帧标注，用于评估
• 标签体系可参考VID的层级分类，或自定义符合需求的类别

3. 格式整理 #

• 标注文件用XML格式，每个帧对应一个XML，记录目标的跟踪ID、bbox、类别
• 生成数据集索引文件（如train.txt），列出所有视频片段的路径与标注信息，方便后续转TFRecord

内容的提问来源于stack exchange，提问作者han wu