AWS S3 mv读写超时致命错误：如何批量移动同桶内指定文件？

我碰到过好几个用户遇到这个问题——当你用aws s3 mv处理大量文件（比如从3万里面筛选8千）时，默认的CLI超时配置扛不住遍历文件的时间，60秒就触发了超时错误。给你几个实用的解决办法，按优先级来：

1. 先调整CLI的超时参数 #

这是最直接的修复方式。AWS CLI默认的cli_read_timeout是60秒，当它在S3上遍历、筛选大量文件时，这个时间根本不够。你可以临时设置环境变量延长超时，或者修改配置文件永久生效：

临时生效（单次命令） #

在运行aws s3 mv之前，先执行这两行：

export AWS_CLI_READ_TIMEOUT=300
export AWS_CLI_CONNECT_TIMEOUT=60

把读取超时改成300秒（5分钟），足够让CLI完成文件列表的筛选。之后再运行你的移动命令就行。

永久生效（修改配置） #

打开~/.aws/config文件（Windows用户是C:\Users\<你的用户名>\.aws\config），加上这几行：

[default]
cli_read_timeout = 300
cli_connect_timeout = 60

这样以后所有CLI命令都会用这个超时设置。

2. 拆分任务，分批处理 #

如果一次性处理8000个文件还是压力大，不如把筛选规则拆成多个命令，分开移动不同前缀的文件：

# 先移XX开头的文件
aws s3 mv s3://sample_BUCKET/Folder_A/ s3://sample_BUCKET/Folder_B/ --exclude "*" --include "XX*.zip" --recursive

# 再移YY开头的文件
aws s3 mv s3://sample_BUCKET/Folder_A/ s3://sample_BUCKET/Folder_B/ --exclude "*" --include "YY*.zip" --recursive

每次处理的文件数减半，遍历和传输的压力都会小很多，不容易触发超时。

3. 启用并行传输提高效率 #

AWS CLI v2支持并行传输，你可以通过调整并发请求数来加快处理速度，减少等待时间：

aws s3 mv s3://sample_BUCKET/Folder_A/ s3://sample_BUCKET/Folder_B/ --exclude "*" --include "XX*.zip" --include "YY*.zip" --recursive --max-concurrent-requests 20

默认的并发数是10，改成20能显著提升文件列表和传输的效率，降低超时概率。如果你的网络条件不错，还可以调到更高（比如30），但别太夸张，避免触发S3的请求限制。

4. 先列出文件再批量移动（更可控） #

如果上面的方法都不行，你可以先把符合条件的文件列表导出来，再逐个移动，这种方式更灵活，还能加错误重试：

第一步：导出文件列表 #

aws s3 ls s3://sample_BUCKET/Folder_A/ --recursive --include "XX*.zip" --include "YY*.zip" | awk '{print $4}' > files_to_move.txt

这行命令会把所有符合条件的文件路径（相对于Folder_A的路径）保存到files_to_move.txt里。

第二步：循环移动文件 #

while read file; do
  echo "Moving $file..."
  aws s3 mv s3://sample_BUCKET/Folder_A/$file s3://sample_BUCKET/Folder_B/$file || echo "Failed to move $file"
done < files_to_move.txt

这种方式每移动一个文件就发起一次请求，不会因为一次性遍历大量文件而超时，还能看到每个文件的处理状态。

内容的提问来源于stack exchange，提问作者Prashant Killada