如何用gsutil rsync仅同步本地新增/修改文件至GCS存储桶？

常见原因及对应解决方案 #

1. 文件时间戳不匹配 #

GCS存储桶默认不会保留本地文件的修改时间戳，首次同步后，本地文件的修改时间和GCS上的元数据时间不一致，rsync会误判文件需要更新。

• 解决：添加-t参数，让rsync同步并依据修改时间戳对比文件：

  gsutil -m rsync -r -t -d ./data/ gs://bucket/data/
  

2. 文件大小或内容校验和差异 #

如果本地文件和GCS上的文件大小不同，或者内容校验和不一致，rsync会重新复制文件。

• 解决：
  • 先手动对比几个重复复制的文件，确认本地与GCS上的文件大小是否一致。
  • 添加-c参数，用MD5校验和对比文件内容（准确性更高，但会增加同步开销）：

    gsutil -m rsync -r -t -c -d ./data/ gs://bucket/data/
    

3. 符号链接或特殊文件干扰 #

本地目录若包含符号链接、设备文件等特殊文件，gsutil rsync可能无法正确识别，导致重复处理。

• 解决：
  • 添加-L参数，让rsync跟随符号链接同步目标文件内容：

    gsutil -m rsync -r -L -t -d ./data/ gs://bucket/data/
    

  • 若不需要同步特殊文件，用--exclude参数排除：

    gsutil -m rsync -r -t -d --exclude="*.symlink" ./data/ gs://bucket/data/
    

4. 权限或元数据差异 #

GCS的文件元数据（如存储类别、权限）与本地文件权限不匹配，会导致rsync误判文件需要更新。

• 解决：添加-p参数，同步兼容的权限和元数据（GCS仅支持部分本地元数据）：

  gsutil -m rsync -r -t -p -d ./data/ gs://bucket/data/
  

5. gsutil版本过旧 #

旧版本gsutil可能存在rsync逻辑bug，导致重复复制。

• 解决：更新gsutil到最新版本：

  gcloud components update
  

验证方法 #

执行同步前，添加-n参数进行模拟运行，查看待同步文件列表，确认问题是否解决：

gsutil -m rsync -r -t -n -d ./data/ gs://bucket/data/

内容的提问来源于stack exchange，提问作者Krishna Chaitanya V