如何用jq为S3桶数组对象添加region字段并持久化修改

问题背景 #

现有一个存储S3桶信息的JSON文件，结构如下（注：原JSON存在语法错误，数组内的对象需用{}包裹，修正后结构如下）：

[
  [
    {
      "response": {
         "Buckets": [
           {"Name": "foo"},
           {"Name": "bar"}
         ]
      }
    }
  ]
]

需求是遍历每个桶，调用AWS S3 API获取桶的地域信息，为Buckets数组内的每个对象添加{"region": "region_name"}字段，同时保留文件原有内容。但现有脚本每次循环都会覆盖temp.json，最终仅能看到最后一个桶的修改结果。

原脚本：

jq -r '.[][0].response.Buckets[].Name' $REPORT/s3.json |
while IFS= read -r bucket
do
  region=$(aws s3api get-bucket-location --bucket $bucket | jq -r '.LocationConstraint')
  jq -r --arg bucket "$bucket"  --arg region "$region" '.[][0].response.Buckets[] | select(.Name==$bucket) | .region=$region' $REPORT/s3.json | sponge $REPORT/temp.json
done

问题原因 #

原脚本每次循环都从**原始的s3.json**读取数据，修改单个桶的信息后直接覆盖temp.json，导致之前循环的修改全部丢失，最终仅保留最后一次循环的结果。

修正方案 #

修改后的脚本 #

# 先复制原始文件到temp.json，作为修改的初始版本
cp "$REPORT/s3.json" "$REPORT/temp.json"

# 遍历原始文件中的所有桶名
jq -r '.[][0].response.Buckets[].Name' "$REPORT/s3.json" |
while IFS= read -r bucket
do
  # 获取桶的地域，处理us-east-1返回null的特殊情况
  region=$(aws s3api get-bucket-location --bucket "$bucket" | jq -r '.LocationConstraint // "us-east-1"')
  
  # 基于temp.json的当前版本，修改对应桶的region字段并写回
  jq --arg bucket "$bucket" --arg region "$region" \
    '.[][0].response.Buckets |= map(if .Name == $bucket then . + {region: $region} else . end)' \
    "$REPORT/temp.json" | sponge "$REPORT/temp.json"
done

# 可选：将最终结果覆盖回原文件
# mv "$REPORT/temp.json" "$REPORT/s3.json"

关键改进点 #

1. 初始化修改基础：先复制原始文件到temp.json，后续所有修改都基于这个文件的最新版本，确保修改累积。
2. 完整修改数组：使用map遍历Buckets数组，仅修改匹配到的桶，其他桶保持原有结构，避免丢失数据。
3. 处理特殊地域：AWS对us-east-1地域的桶，get-bucket-location会返回null，用// "us-east-1"自动补全该地域值。
4. 安全引用变量：给变量添加双引号，避免桶名含特殊字符时出现错误。

内容的提问来源于stack exchange，提问作者Raheel