如何通过AWS CLI按动态文件列表批量复制/移动文件到S3？

问题根源 #

你遇到的Unknown options: --include错误，是因为shell变量存储多参数时的解析问题：如果把--include "file1" --include "file2"这类参数存在普通变量里，执行时shell会把整个变量内容当成一个单一参数传递给AWS CLI，导致CLI无法识别--include选项。

可靠解决方法：用Bash数组存储参数 #

Bash数组能正确保留每个参数的边界，处理带空格、特殊字符的文件名也没问题，步骤如下：

1. 先把FILELIST里的文件名转换成--include "文件名"格式的数组元素
2. 结合--exclude "*"和--recursive参数，让AWS CLI只处理指定文件
3. 利用AWS CLI自带的增量同步特性，自动跳过已复制的文件

代码示例（复制文件）

# 初始化空数组存储--include参数
aws_includes=()

# 逐行读取FILELIST，生成对应的--include参数
while IFS= read -r filename; do
  aws_includes+=(--include "$filename")
done < FILELIST

# 执行批量复制：--exclude "*"必须放在--include前面，确保优先级
aws s3 cp ./local-source-dir/ s3://your-bucket/target-path/ \
  --recursive \
  --exclude "*" \
  "${aws_includes[@]}"

代码示例（移动文件）

把上面的aws s3 cp换成aws s3 mv即可，逻辑完全一致：

aws s3 mv ./local-source-dir/ s3://your-bucket/target-path/ \
  --recursive \
  --exclude "*" \
  "${aws_includes[@]}"

关键说明 #

• --recursive：必须添加，否则AWS CLI只会处理指定目录下的顶层文件，不会遍历子目录
• --exclude "*" + --include组合：先排除所有文件，再包含指定文件，确保只处理FILELIST里的条目
• 增量同步：AWS CLI的cp/mv命令默认会对比本地文件和S3文件的大小、最后修改时间，自动跳过已存在且无变化的文件，无需额外处理“仅扫描未复制文件”的需求
• 特殊字符兼容：IFS= read -r能正确读取带空格、换行、特殊字符的文件名，避免解析错误

测试建议 #

先添加--dry-run参数执行命令，预览会被处理的文件，确认无误后再去掉--dry-run执行实际操作：

aws s3 cp ./local-source-dir/ s3://your-bucket/target-path/ \
  --recursive \
  --exclude "*" \
  "${aws_includes[@]}" \
  --dry-run

内容的提问来源于stack exchange，提问作者Rajbharath