在Google Cloud ML运行检测模型评估脚本时遇Checkpoint匹配错误求助

我之前在Google Cloud上跑目标检测评估时也碰到过一模一样的问题，咱们一步步来排查和修复：

• 先确认Checkpoint文件是否真的存在于存储桶中
  先通过GCP控制台的Cloud Storage页面，或者在本地终端执行gsutil ls gs://obj-detection/train/命令，查看这个目录下的文件。目标检测的Checkpoint是一组文件，必须包含：

  • model.ckpt-0.data-00000-of-00001
  • model.ckpt-0.index
  • model.ckpt-0.meta
    还有一个记录最新Checkpoint的checkpoint文本文件。如果这些文件不全或者完全没有，那说明训练任务根本没生成Checkpoint，得先检查训练任务是否正常运行，或者训练配置文件的train_config部分有没有设置save_checkpoints_steps（比如设置成1000，代表每1000步保存一次Checkpoint）。

• 核对评估脚本的路径配置
  打开你的评估配置文件（比如pipeline.config），确认eval_config里的checkpoint_dir是不是准确指向gs://obj-detection/train/，别写错了存储桶名称或者目录路径。另外，有些评估脚本如果硬编码了具体的Checkpoint文件名（比如model.ckpt-0），可以改成让它自动读取目录下最新的Checkpoint，比如在代码里用tf.train.latest_checkpoint(checkpoint_dir)来动态获取路径，这样更灵活。

• 检查GCP存储的权限设置
  确保运行评估任务的服务账号有访问gs://obj-detection/train/目录的权限。你可以在GCP的IAM页面查看对应服务账号的角色，至少需要Storage Object Viewer权限。如果是用AI Platform自带的训练/评估任务，默认服务账号应该有同项目存储桶的访问权限，但如果是跨项目或者手动修改过权限，就得重新确认权限是否到位。

• 等待训练生成第一个Checkpoint
  错误日志里提到“Will try again...”，说明评估脚本会自动重试。如果你的训练任务刚启动没多久，可能还没到保存Checkpoint的步数（比如save_checkpoints_steps设的是5000，那得等训练跑够5000步才会生成第一个Checkpoint）。可以先去看训练任务的日志，确认有没有Checkpoint保存的记录，再等一会儿看看评估能不能自动找到文件。

• 手动指定Checkpoint路径尝试
  如果自动查找还是不行，可以尝试在提交评估任务的命令里手动指定Checkpoint的前缀路径（不用加.data或.index后缀），比如：

  gcloud ai-platform jobs submit evaluation --job-name my-eval-job \
    --package-path object_detection \
    --module-name object_detection.eval \
    --region us-central1 \
    -- \
    --checkpoint_dir=gs://obj-detection/train/model.ckpt-0 \
    --eval_dir=gs://obj-detection/eval \
    --pipeline_config_path=gs://obj-detection/configs/pipeline.config
  

内容的提问来源于stack exchange，提问作者Tung Le