如何在Bash脚本中通过配置文件使用gsutil rsync同步GCS目录并清理文件

开发者阿泽

2026-5-11

解决gsutil rsync无法通过管道读取源目录列表的问题

我来帮你分析下问题所在，以及给出可行的解决方案：

为什么你的rsync命令会报错（错误码126）

错误码126通常表示命令无法正确执行，这里的核心原因是**gsutil rsync的参数设计和cp -I不一样**：

gsutil cp -R -I是专门支持从标准输入读取要复制的文件/目录路径，所以你用管道传配置文件内容的方式能正常工作。
但gsutil rsync的默认用法是同步单个源目录到目标目录，它需要明确的SRC_URL和DEST_URL参数，并不支持从标准输入读取多个源路径。你之前的命令相当于给rsync传递了不符合预期的参数，导致命令执行失败。

可行的实现方案

既然rsync不支持批量读取多源路径，我们可以通过逐个处理配置文件中的每个目录来实现需求，同时保留-d（删除目标中源不存在的文件）的功能。

方案1：循环处理每个目录（最直观）

用while循环读取配置文件的每一行，对每个GCS目录单独执行rsync同步：

while IFS= read -r src_dir; do
  # 跳过空行（如果配置文件里有的话）
  [ -z "$src_dir" ] && continue
  gsutil -m rsync -r -d "$src_dir" "$2"
done < "$1"

这个方案的好处是逻辑清晰，每个同步任务独立，容易排查单个目录的问题。

方案2：并行处理（提升同步速度）

如果你的配置文件里有大量目录，可以用xargs实现并行同步，加快处理效率：

# -n 1：每次传递1个目录给sh命令
# -P 5：同时运行5个并行进程（可根据你的GCS配额和机器性能调整）
xargs -n 1 -P 5 sh -c '
  [ -z "$1" ] && exit 0
  gsutil -m rsync -r -d "$1" "$2"
' -- < "$1" "$2"

并行处理能充分利用带宽和资源，适合目录数量较多的场景。