AWS S3 cp命令在命令行与bash脚本中行为不一致问题排查

你脚本里用字符串拼接includeList构建命令参数的方式，会导致bash对引号的处理逻辑和命令行直接执行时完全不同：

• 命令行输入--exclude '*'时，bash会解析掉单引号，实际传给AWS CLI的是--exclude和*两个独立参数，规则正常生效；
• 但脚本里拼接成--exclude '*'后，用${includeList}展开时，单引号会被当作参数的一部分传给AWS CLI，也就是CLI收到的是--exclude和'*'（带单引号的字符串）。这时候'*'匹配不到任何文件，exclude规则直接失效，所以会下载所有文件。

解决思路 #

方法1：用数组存储参数（推荐，安全可靠） #

bash数组能正确处理带空格、特殊字符的参数，不会破坏引号的作用。修改脚本如下：

# 用数组初始化核心参数
include_args=(--exclude "*" --recursive)
i=0
cnt=${#allFiles[@]}
while [ $i -ne $cnt ]
do
    f=${allFiles[$i]}
    # 向数组追加--include参数
    include_args+=(--include "$f")
    i=$((i + 1))
    mod=$((i % 10))
    if [ $mod -eq 0 ]; then
        # 展开数组执行命令，确保每个参数正确传递
        aws s3 cp s3://bucket/$1/ /storage/ "${include_args[@]}"
        exit 0
    fi
done

数组展开时，每个参数都会被bash正确识别，--exclude "*"的引号会被解析，传给CLI的参数和命令行直接执行时完全一致。

方法2：用eval（不推荐，存在安全风险） #

如果一定要用字符串拼接，可以用eval让bash重新解析整个命令字符串，但如果allFiles里包含空格、&、;等特殊字符，可能会引发命令执行异常甚至安全问题：

includeList="--exclude '*' --recursive "
i=0
cnt=${#allFiles[@]}
while [ $i -ne $cnt ]
do
    f=${allFiles[$i]}
    includeList="${includeList}--include '$f' "
    i=$((i + 1))
    mod=$((i % 10))
    if [ $mod -eq 0 ]; then
        eval "aws s3 cp s3://bucket/$1/ /storage/ ${includeList}"
        exit 0
    fi
done

这种方式会让bash重新解析命令字符串，把单引号正确处理掉，但仅在确认allFiles内容安全的情况下使用。

验证小技巧 #

可以在执行命令前加一行打印，直观查看参数传递情况：

• 数组方式：printf "%q " "${include_args[@]}" && echo
• 字符串方式：printf "%q " ${includeList} && echo
  对比输出就能看到两种方式的参数格式差异。

内容的提问来源于stack exchange，提问作者wfb0002