如何将gcloud storage cp的manifest文件存储到GCS桶？

核心问题说明 #

gcloud storage cp的--manifest-path参数仅支持本地文件系统路径，无法直接指定GCS路径，这就是你遇到No such file or directory错误的原因——命令尝试在本地文件系统中创建GCS路径的文件，自然找不到对应的目录。

可行解决方案 #

方案1：本地临时Manifest + 同步到GCS

利用K8s Pod的临时存储（如/tmp目录）存放manifest文件，完成复制后将其上传到GCS，下次运行时先从GCS下载manifest到本地，实现断点续传：

1. 下载已有Manifest（首次运行可忽略，加|| true避免报错）

gcloud storage cp gs://manifests-bucket/manifest.csv /tmp/manifest.csv || true

2. 执行带本地Manifest的复制命令

gcloud storage cp -r "gs://test-1/*" "gs://test-3" \
  --encryption-key=XXXXXXXXXXXXXXXXXXXXXXX \
  --storage-class=REGIONAL \
  --manifest-path=/tmp/manifest.csv

3. 将更新后的Manifest上传回GCS

gcloud storage cp /tmp/manifest.csv gs://manifests-bucket/manifest.csv

这样即使Pod重启，下次运行时通过下载GCS中的manifest，就能跳过已复制的文件，继续之前的进度。

方案2：改用gsutil rsync实现增量同步

如果你的核心需求是跳过已复制文件，gsutil rsync本身就是为增量同步设计的，无需依赖manifest文件，它会自动对比源桶和目标桶的文件元数据（大小、修改时间等）来跳过已存在的文件，可能更适合你的场景：

gsutil rsync -r "gs://test-1" "gs://test-3" \
  --encryption-key=XXXXXXXXXXXXXXXXXXXXXXX \
  --storage-class=REGIONAL

• -r：递归处理子目录
• 若需要删除目标桶中源桶不存在的文件，可添加-d参数
• 确保运行命令的服务账号拥有源桶读权限、目标桶读写权限

权限注意事项 #

无论采用哪种方案，都要确保K8s Pod使用的服务账号拥有以下权限：

• 源桶（test-1）的读权限
• 目标桶（test-3）的读写权限
• 存储manifest的桶（manifests-bucket）的读写权限

内容的提问来源于stack exchange，提问作者SRJ