使用Linux find命令配合管道传输至S3桶遇错，寻求可行方案

我之前也折腾过类似的需求，确实AWS官方文档里对这种组合用法的说明比较模糊，咱们来一步步解决这个问题。

首先得明确：直接用管道把find的结果传给aws s3 cp是行不通的——因为aws s3 cp默认不支持从标准输入读取源文件列表，它需要明确的文件名参数。不过我们可以通过两种常用的方式绕开这个限制：

方案1：用xargs批量传递参数 #

xargs可以把管道传来的内容转换成命令的参数列表，适合处理简单场景（文件名不含空格或特殊字符）：

如果不需要保留本地的目录结构，只想把符合条件的文件都传到S3的某个目录下：

find . -mtime -3 -type f | xargs aws s3 cp --target-dir s3://<bucketname>/target-folder/

如果需要保留本地的目录结构（比如本地./logs/2024/05/file.log要传到S3的logs/2024/05/file.log），可以用xargs的替换功能：

find . -mtime -3 -type f | xargs -I {} aws s3 cp {} s3://<bucketname>/{}

方案2：用while循环处理复杂文件名 #

如果你的文件名里包含空格、引号这类特殊字符，xargs容易出问题，这时候用while read循环更可靠：

find . -mtime -3 -type f -print0 | while IFS= read -r -d '' file; do
    aws s3 cp "$file" "s3://<bucketname>/$file"
done

这里的-print0和read -d ''是关键，它们会用空字符作为文件名的分隔符，完美避开特殊字符的干扰。

注意事项 #

• 一定要加上-type f参数：不然find会返回目录，而aws s3 cp处理目录需要--recursive，直接传目录会报错。
• 如果要复制目录本身（而不是目录里的文件），可以调整find的参数为-type d，同时给aws s3 cp加上--recursive：

  find . -mtime -3 -type d | xargs -I {} aws s3 cp --recursive {} s3://<bucketname>/{}
  

内容的提问来源于stack exchange，提问作者user3691635