如何让gsutil rsync删除已同步文件？无--remove-source-files选项的方案

你说得没错，gsutil rsync确实没有--remove-source-files这个参数——我之前处理大规模文件同步时也碰到过这个需求，下面给你几个实用的解决办法：

方案1：逐个上传验证后删除（安全优先） #

这个方法适合对数据安全要求高的场景，确保每一个文件上传成功后再删除本地副本，避免上传失败导致数据丢失。可以写个简单的shell脚本：

# 替换为你的本地CSV目录和GCS存储桶路径
LOCAL_CSV_DIR="/path/to/your/local/csvs"
GCS_BUCKET_PATH="gs://your-target-bucket/csvs/"

# 遍历本地所有CSV文件
for csv_file in "$LOCAL_CSV_DIR"/*.csv; do
  # 跳过目录（如果有）
  [ -f "$csv_file" ] || continue
  
  # 执行上传，只有上传成功时才删除本地文件
  if gsutil cp "$csv_file" "$GCS_BUCKET_PATH"; then
    echo "上传成功，删除本地文件：$csv_file"
    rm "$csv_file"
  else
    echo "上传失败，保留本地文件：$csv_file"
  fi
done

方案2：先同步再批量校验删除（效率优先） #

如果你的文件数量极多，逐个处理效率较低，可以先用gsutil rsync完成全量同步，再校验GCS中已存在的文件并删除本地对应副本：

LOCAL_CSV_DIR="/path/to/your/local/csvs"
GCS_BUCKET_PATH="gs://your-target-bucket/csvs/"

# 第一步：同步本地目录到GCS（-r表示递归同步子目录）
gsutil rsync -r "$LOCAL_CSV_DIR" "$GCS_BUCKET_PATH"

# 第二步：遍历本地文件，校验是否已存在于GCS，存在则删除
find "$LOCAL_CSV_DIR" -type f -name "*.csv" | while read csv_file; do
  # 构建对应的GCS文件路径（保持目录结构一致）
  RELATIVE_PATH="${csv_file#$LOCAL_CSV_DIR/}"
  GCS_FILE_PATH="$GCS_BUCKET_PATH/$RELATIVE_PATH"
  
  # 检查GCS文件是否存在（静默执行，只返回状态码）
  if gsutil stat "$GCS_FILE_PATH" > /dev/null 2>&1; then
    echo "已在GCS存在，删除本地文件：$csv_file"
    rm "$csv_file"
  else
    echo "未在GCS找到，保留本地文件：$csv_file"
  fi
done

方案3：用Cloud Storage Transfer Service（适合长期/大规模任务） #

如果这是一个长期重复的任务，或者需要处理超大规模的文件，可以考虑使用Google Cloud的Transfer Service：

• 可以创建一个定时或一次性传输作业，将本地（或其他存储源）的文件同步到GCS
• 在作业配置中开启“传输完成后删除源文件”的选项
• 这个服务会自动处理断点续传、重试等问题，适合无人值守的场景

注意事项 #

• 无论用哪种方案，强烈建议先在测试环境用小文件验证，避免误删重要数据
• 对于100GB以上的文件，gsutil的cp和rsync都支持断点续传，不用担心网络中断导致的上传失败
• 如果需要保留本地文件的备份，可以先备份到其他存储再执行删除操作

内容的提问来源于stack exchange，提问作者Rotkiv