使用aws s3api的Bash脚本遍历S3对象后遇意外EOF错误

核心原因分析 #

你遇到的unexpected EOF错误，大概率是引号未正确配对，或者S3对象Key包含特殊字符（如引号、空格、反斜杠），导致aws s3api get-object命令的参数解析时破坏了Bash语法结构。当同时保留下载命令和JSON检测的if块时，这种语法冲突被触发。

修复步骤 #

1. 严格引号配对，避免变量展开破坏语法 #

确保所有命令的参数都用双引号包裹，尤其是包含变量的部分。比如原脚本中如果是：

aws s3api get-object --bucket "$BUCKET" --key $KEY "$TEMP_FILE"

要改成：

aws s3api get-object --bucket "$BUCKET" --key "$KEY" "$TEMP_FILE"

$KEY必须用双引号包裹，防止Key里的空格、引号等字符被Bash解析成多个参数，破坏命令结构。

2. 安全处理jq的JSON检测逻辑 #

避免在if条件里直接写复杂的jq命令导致引号嵌套混乱，建议把jq的检测结果存入变量，再判断变量值：

# 先检测JSON格式，将结果存入变量
jq_exit_code=$(jq . "$TEMP_FILE" > /dev/null 2>&1; echo $?)

# 再进行条件判断
if [ $jq_exit_code -ne 0 ]; then
    echo "Malformed JSON found in key: $KEY"
    # 这里可以添加异常处理逻辑，比如记录日志、移动文件等
fi

这种方式避免了if条件里的引号嵌套问题，比直接写if ! jq . "$TEMP_FILE" > /dev/null 2>&1更清晰，也减少语法冲突概率。

3. 临时文件的安全处理 #

确保临时文件唯一且不会被意外覆盖，建议用mktemp生成安全的临时文件路径：

TEMP_FILE=$(mktemp /tmp/s3_json_XXXXXX)
# 脚本结束时清理临时文件
trap 'rm -f "$TEMP_FILE"' EXIT

避免使用固定路径的临时文件，防止多进程运行时冲突，同时用trap确保脚本退出时自动清理。

4. 遍历S3对象Key的安全方式 #

如果是用aws s3 ls或者aws s3api list-objects-v2遍历Key，要确保正确处理包含特殊字符的Key。比如用--query和--output text输出Key时，避免换行符干扰：

aws s3api list-objects-v2 --bucket "$BUCKET" --query 'Contents[].Key' --output text | while read -r KEY; do
    # 处理每个KEY的逻辑
done

read -r可以保留Key里的反斜杠等特殊字符，避免被Bash转义。

优化后的完整示例脚本 #

#!/bin/bash
set -euo pipefail

BUCKET="your-bucket-name"
TEMP_FILE=$(mktemp /tmp/s3_json_XXXXXX)
trap 'rm -f "$TEMP_FILE"' EXIT

# 遍历S3桶内所有对象Key
aws s3api list-objects-v2 --bucket "$BUCKET" --query 'Contents[].Key' --output text | while read -r KEY; do
    # 下载对象到临时文件
    aws s3api get-object --bucket "$BUCKET" --key "$KEY" "$TEMP_FILE"
    
    # 检测JSON格式
    if ! jq . "$TEMP_FILE" > /dev/null 2>&1; then
        echo "ERROR: Malformed JSON in S3 key: $KEY"
        # 可添加额外处理，比如将异常Key写入日志文件
        echo "$KEY" >> malformed_json_keys.log
    fi
done

echo "JSON检查完成"

关键编写规范提升 #

• 始终用set -euo pipefail开启严格模式，提前发现未定义变量、命令失败等问题
• 所有变量引用都用双引号包裹，防止特殊字符破坏语法
• 避免复杂的嵌套命令和引号，拆分逻辑到变量中提升可读性
• 用trap处理临时文件清理，避免残留垃圾
• 遍历包含特殊字符的文件名/对象Key时，用read -r确保正确读取

内容的提问来源于stack exchange，提问作者Per48edjes