如何避免Google Cloud Storage rsync同步正在写入的不完整文件？

这个问题我之前也踩过坑——高频cron+rsync很容易把还在写入的半拉文件同步到GCS里，尤其是大文件写入时间超过1分钟的情况。给你几个实用的解决方案，按需选择：

1. 原子写入+排除临时文件（最推荐的应用层方案） #

核心思路是让写入过程原子化：程序写入文件时，先写到一个临时文件（比如后缀加.tmp），等完全写入完成后，再重命名为正式文件名。重命名操作在文件系统里是原子性的，瞬间完成，rsync根本抓不到中间状态的文件。

同步的时候，用-x参数排除临时文件即可：

gsutil rsync -x "\.tmp$" /local/data-dir gs://your-bucket/target-dir

只要你的写入程序能调整这个逻辑，优先用它——从根源上避免了未完成文件被同步的问题。

2. 只同步“稳定”的文件（适配现有cron的方案） #

如果没法改写入逻辑，可以在同步前筛选出修改时间超过1分钟的文件（因为你的cron是每分钟跑一次，最近1分钟修改的大概率还在写入），再传给rsync同步。

用find命令配合gsutil rsync的-I参数（从标准输入读取文件列表）：

# 找出修改时间超过1分钟的文件，-print0/-0用来处理带空格的文件名
find /local/data-dir -type f -mmin +1 -print0 | gsutil rsync -0 -I /local/data-dir gs://your-bucket/target-dir

这样就能跳过正在写入的文件，下次cron运行时，文件写完了自然会被同步。

3. 用文件系统事件触发同步（更精准的实时方案） #

放弃cron的定时触发，改用监听文件写入完成事件来同步。Linux下可以用inotifywait工具，只有当文件关闭（写入完成）时才触发同步。

先安装inotify-tools，然后写个脚本：

#!/bin/bash
WATCH_DIR="/local/data-dir"
BUCKET="gs://your-bucket/target-dir"

# 递归监听目录下的文件关闭事件，输出完整文件路径
inotifywait -m -r -e close_write --format "%w%f" "$WATCH_DIR" | while read FILE; do
  # 同步完成写入的文件到GCS
  gsutil cp "$FILE" "$BUCKET/$(basename "$FILE")"
done

把这个脚本做成systemd服务，让它一直后台运行，就能实现实时且精准的同步，完全不会碰到未完成的文件。

4. GCS生命周期规则兜底（云侧方案） #

如果上面的方法都没法用，可以先把所有文件同步到GCS的临时目录，然后设置GCS生命周期规则，当文件创建后超过1分钟（且没有被修改），再自动移动到正式目录。

在GCS控制台给临时桶/目录设置规则：

• 条件：文件创建时间 ≥ 1分钟，且自上次修改后 ≥ 1分钟
• 操作：移动到正式存储路径

这个方法会有1分钟左右的延迟，但不用改本地任何逻辑，适合快速临时解决问题。

内容的提问来源于stack exchange，提问作者Duc Nguyen Trung