AWS S3含空格对象键获取异常问题求助

问题根源是Bash默认以空格作为字段分隔符，遍历S3对象时，含空格的键会被拆分成多个片段，导致你只能拿到前半部分。下面是两种可靠的解决方法：

方法1：用aws s3 ls递归遍历并正确读取对象键 #

使用--recursive和--output text输出所有对象，再通过while IFS= read -r读取每一行，确保完整保留空格：

BUCKET_NAME="mytestbucket"

# 遍历所有对象，提取对象键
aws s3 ls "s3://$BUCKET_NAME/" --recursive --output text | while IFS= read -r line; do
    # 拆分输出行，从第4个字段开始拼接成完整对象键（前3个是日期、时间、文件大小）
    OBJECT_KEY=$(echo "$line" | awk '{for(i=4; i<=NF; i++) printf "%s ", $i; print ""}' | sed 's/ $//')
    # 用双引号包裹对象键，避免空格被拆分
    aws s3api copy-object \
        --bucket "$BUCKET_NAME" \
        --key "$OBJECT_KEY" \
        --copy-source "$BUCKET_NAME/$OBJECT_KEY" \
        --content-type "image/jpeg" \
        --metadata-directive REPLACE
done

方法2：用aws s3api list-objects-v2精准获取对象键 #

这种方式直接返回所有对象键，无需解析aws s3 ls的复杂输出，更可靠：

BUCKET_NAME="mytestbucket"

# 获取所有对象键，每行一个
aws s3api list-objects-v2 --bucket "$BUCKET_NAME" --query "Contents[].Key" --output text | while IFS= read -r OBJECT_KEY; do
    # 跳过空行
    [ -z "$OBJECT_KEY" ] && continue
    # 重置Content-Type
    aws s3api copy-object \
        --bucket "$BUCKET_NAME" \
        --key "$OBJECT_KEY" \
        --copy-source "$BUCKET_NAME/$OBJECT_KEY" \
        --content-type "image/jpeg" \
        --metadata-directive REPLACE
done

关键注意事项 #

• 所有包含对象键的变量必须用双引号包裹（比如"$OBJECT_KEY"），防止Bash拆分空格。
• IFS= read -r读取行时，IFS=会保留行内所有空格和制表符，-r避免反斜杠被当作转义字符处理。
• 如果只需处理特定路径或文件类型，可以在aws s3api list-objects-v2中添加--prefix过滤路径，或在循环内判断文件名后缀。

内容的提问来源于stack exchange，提问作者Deepak Kamat