如何将S3中搜索到的指定文件移动到同桶其他文件夹？

你的aws s3 mv命令写法错误，核心问题有两个：一是aws s3 mv不支持通过管道直接接收筛选结果；二是aws s3 ls的输出包含日期、大小等冗余信息，并非mv所需的完整对象路径。以下是正确的批量移动方案：

方法1：用xargs批量执行 #

先递归列出目标文件夹下的所有对象，筛选出符合条件的文件，生成完整S3路径后传给xargs执行移动：

# 替换为你的实际存储桶名、源文件夹、目标文件夹
aws s3 ls s3://bucket-name/source-folder/ --recursive \
  | grep "20230904" \
  | grep "cdrquoted" \
  | awk '{print "s3://bucket-name/"$4}' \
  | xargs -I {} aws s3 mv {} s3://bucket-name/destination-folder/

方法2：用while循环（大文件量更稳定） #

如果文件数量极多，while循环可避免xargs的参数长度限制，执行更稳妥：

# 替换为你的实际存储桶名、源文件夹、目标文件夹
aws s3 ls s3://bucket-name/source-folder/ --recursive \
  | grep "20230904" \
  | grep "cdrquoted" \
  | awk '{print $4}' \
  | while read obj_key; do
      aws s3 mv "s3://bucket-name/$obj_key" "s3://bucket-name/destination-folder/$obj_key"
    done

关键注意点 #

• 先添加--dryrun参数测试（如aws s3 mv ... --dryrun），确认路径正确后再正式执行
• 若源文件在存储桶根目录，去掉命令中的source-folder/即可
• 需并行处理时，可在xargs中加-P 5（数字为并行线程数），但不要超出AWS S3的API请求限制

内容的提问来源于stack exchange，提问作者Vivianne Miranda