Google Cloud Shell中按编号范围批量移动GCS文件的实现方法

你之前写的两个命令不符合gsutil和shell的语法规则，所以没有达到预期：

• 第一个命令用了{00001-45000}的写法：bash大括号扩展的范围语法是双点..不是单横杠-，且一次性传递4万+文件路径作为命令参数，会触发系统「参数列表过长」的报错，根本无法执行。
• 第二个命令用了*[00000-45000]的写法：方括号在通配符规则里是单个字符匹配，只会匹配方括号内出现的任意单个字符，不会识别数字范围，所以最终只匹配到了对应位置字符为0-5的文件，和你要的0-45000编号范围完全不符。

因为你的文件命名是严格固定长度补零的规则，直接生成精确文件清单再批量移动是最稳妥的方案，不会出现通配符匹配错误，也不会触发参数长度限制，适配19TiB的大文件场景：

1. 先生成0-45000编号对应的完整文件路径清单，直接按编号规则生成，不需要遍历存储桶列文件，速度极快：

   # 生成0到45000对应的12位补零格式文件路径，存入清单文件
   for i in {0..45000}; do printf "gs://mybackupbucket/table-%012d.json\n" $i; done > gcs_file_list.txt
   

2. 校验清单文件的行数，确认数量正确：

   wc -l gcs_file_list.txt
   # 正确输出应为45001行，对应编号0到45000共45001个文件
   

3. 用gsutil的-I参数从清单读取文件列表，开并行模式批量移动：

   cat gcs_file_list.txt | gsutil -m mv -I gs://mybackupbucket2/
   

-m参数会自动开启多进程/多线程并行传输，大幅提升大文件批量操作的速度。

如果不想生成清单文件，可以按编号前缀拆分匹配范围，分段执行移动命令，避免单条命令匹配过多文件：

# 移动编号000000000000 ~ 000000009999的文件
gsutil -m mv gs://mybackupbucket/table-00000000*.json gs://mybackupbucket2/
# 移动编号000000010000 ~ 000000039999的文件
gsutil -m mv gs://mybackupbucket/table-0000000[1-3]*.json gs://mybackupbucket2/
# 移动编号000000040000 ~ 000000044999的文件
gsutil -m mv gs://mybackupbucket/table-00000004[0-4]*.json gs://mybackupbucket2/
# 单独移动最后一个编号000000045000的文件
gsutil -m mv gs://mybackupbucket/table-000000045000.json gs://mybackupbucket2/

这个方案需要仔细核对每段的编号范围，避免漏移或多移文件。

• 19TiB数据量极大，建议先拿10~20个测试文件跑通命令，确认路径、权限都正常后再执行全量操作。
• 稳妥起见可以先把命令里的mv替换成cp先做复制，等复制完成后核对两个存储桶的文件数量、总大小完全一致，再删除源桶内的已复制文件，避免直接移动过程中网络中断导致文件丢失。

内容的提问来源于stack exchange，提问作者Wysong