TensorFlow Object Detection API训练长时间卡住无进展求助

• 优先校验数据环节完整性：首先确认自定义COCO数据集转成的tfrecord文件无损坏，可运行官方内置的tfrecord校验工具检查文件合法性，同时排查标注文件是否存在边界框坐标异常，比如xmin大于xmax、ymin大于ymax、坐标值超出图像尺寸范围的问题，这类标注错误会直接导致数据加载线程静默卡死。
• 调整训练配置适配硬件：你当前使用的ssd_efficientdet_d1_640x640_coco17_tpu-8.config为默认TPU训练配置，如果你使用GPU/CPU训练，需要先删除配置文件中的tpu_config相关字段，同时调低train_config下的batch_size参数，默认TPU配置的batch size远大于普通GPU承载上限，batch size过大会导致显存占满后无报错卡死，2000张的小数据集建议先将batch size调整到2-4试跑，确认正常迭代后再逐步上调。
• 检查环境版本兼容性：确认你安装的TensorFlow版本和当前使用的Object Detection API版本要求匹配，2.x版本的API不支持TensorFlow 1.x运行，版本不兼容会出现无报错卡死的情况，同时可以在训练启动命令中添加--alsologtostderr参数，打印更详细的debug日志，方便定位具体卡住的节点。
• 小范围验证全流程可行性：可以先截取少量样本生成小体积tfrecord，将配置文件中的num_steps调整为10，短时间试跑确认能正常更新step、输出loss、保存checkpoint，排除整体流程的配置错误后再运行全量数据集训练。
• 监控硬件资源状态：训练过程中用系统资源监控工具查看GPU/CPU利用率、显存/内存占用、磁盘IO状态，如果GPU利用率长期为0，基本可以判定为数据加载或环境配置问题，优先排查前述环节即可。

内容的提问来源于stack exchange，提问作者DEK