如何不使用tf record基于tf object detection api训练mobilenet ssd v2模型
TF Object Detection API 训练实操配置解答
无需全量内存加载的实现逻辑
TF Object Detection API 底层基于tf.data流式管道实现,从设计逻辑上就不要求、也不会把全量数据集一次性加载进内存。
- 管道默认采用异步预取、并行解码、按需读取的运行逻辑,训练过程中内存仅留存当前批次需要的图像、标注数据,额外设置的预取窗口一般仅保留2-3个batch的容量
- 哪怕总数据集体积达到几十上百GB,只要配置合理,16GB内存的消费级设备也能正常启动训练,内存占用不会随总数据集体积的大小线性增长
跳过TFRecord的替代训练方案
TF Object Detection API 并非强制要求使用TFRecord格式输入,支持自定义数据集加载逻辑:
- 你可以直接基于本地原始图片、标注文件构建数据生成器,将其封装为符合API接口要求的
tf.data.Dataset对象,替换默认的TFRecord读取模块即可完成训练 - 该方案的优缺点非常明确:因为失去了TFRecord顺序块存储的IO优化优势,机械磁盘环境下的随机读开销会大幅上升,训练阶段的数据加载速度通常比使用TFRecord低40%以上,训练吞吐量会出现明显下降
多TFRecord分片的epoch全量遍历配置
完全不需要一次性加载全量TFRecord就能启动训练,通过默认配置即可实现分片流式读取、单epoch全量覆盖数据集:
- 分片路径配置:在训练配置的
train_input_reader/eval_input_reader部分,直接使用通配符匹配所有分片文件,比如填写input_path: "/dataset/train_shard_*.tfrecord",不需要逐个枚举分片路径 - 遍历顺序优化:开启配置项
shard_shuffle_files: True后,系统会在每个epoch启动时自动打乱所有匹配分片的读取顺序,整个过程全程按需流式读取分片内容,不会一次性把15GB的文件读入内存 - 遍历完整性保障:只要通配符覆盖了全部分片,管道会自动在单个epoch内读完所有分片包含的全部样本,不存在漏读、跳读分片的问题
TFRecord转换的磁盘空间优化
转换TFRecord时产生双倍磁盘占用,完全是不规范的转换流程导致的:
- 转换脚本采用单张图流式读写逻辑:逐张读取原始图片、将编码后的图像字节直接写入TFRecord,每写完一个分片即可删除对应的原始图片文件
- 整个流程不需要在磁盘上同时留存全量原始数据集和全量TFRecord文件,最终的磁盘占用仅和TFRecord本身的大小相当,不会产生额外的15GB重复占用
内容的提问来源于stack exchange,提问作者Mai
相关产品推荐
相关产品推荐

