使用jq循环为JSON数组添加动态计算字段并返回完整JSON的问题

这个问题我之前也碰到过！核心原因是你在循环处理每个bucket的时候，没有正确把所有更新后的元素合并回原始JSON结构，导致最后只保留了最后一次处理的结果。下面给你一套可行的解决方案：

核心思路 #

1. 先提取原始JSON中的aggregations.domains.buckets数组
2. 逐个遍历数组中的每个bucket，调用Elasticsearch接口获取对应的cost值
3. 为每个bucket添加cost字段后，重新组合成完整的数组
4. 将更新后的数组替换回原始JSON的对应位置，得到最终的完整JSON

完整脚本示例 #

假设你的原始JSON文件名为input.json，ES接口可以根据bucket的key（域名）查询到对应的cost值，脚本如下：

#!/bin/bash

# 读取原始JSON内容到变量
original_json=$(cat input.json)

# 处理buckets数组，为每个元素添加cost字段
updated_buckets=$(echo "$original_json" | jq -c '.aggregations.domains.buckets[]' | while read -r bucket; do
    # 提取当前bucket的域名key
    domain=$(echo "$bucket" | jq -r '.key')
    
    # 调用ES接口获取cost，替换成你的实际ES查询逻辑
    # 这里示例假设ES返回的JSON中有aggregations.cost.value字段
    cost=$(curl -s "http://your-es-host:9200/your-index/_search" \
        -H "Content-Type: application/json" \
        -d '{
            "query": {"match": {"domain": "'"$domain"'"}},
            "aggs": {"cost": {"sum": {"field": "cost_amount"}}}
        }' | jq '.aggregations.cost.value // 0')
    
    # 给当前bucket添加cost字段，输出处理后的JSON对象
    echo "$bucket" | jq --argjson cost "$cost" '. + {cost: $cost}'
done | jq -s '.'  # 将所有处理后的单个bucket对象合并成数组)

# 将更新后的buckets数组替换回原始JSON
final_json=$(echo "$original_json" | jq --argjson buckets "$updated_buckets" '.aggregations.domains.buckets = $buckets')

# 输出最终结果（也可以写入文件：echo "$final_json" > output.json）
echo "$final_json"

关键细节说明 #

• 使用jq -c输出紧凑格式的JSON，确保read命令能正确读取单个bucket对象
• 用jq -s '.'把循环中输出的多个独立JSON对象重新组合成一个数组
• 通过--argjson参数把处理后的数组传入jq，替换原始JSON中的对应字段
• 脚本里加了// 0的处理，确保ES查询失败时cost会被设为默认值0，避免脚本中断

为什么之前的脚本只生效最后一个元素？ #

通常是因为循环中每次处理一个bucket时，没有将结果累积起来，而是直接覆盖了变量或者只输出了最后一次的处理结果。比如常见的错误写法：

# 错误示例：每次循环都覆盖updated_bucket变量，最后只保留最后一个结果
echo "$original_json" | jq '.aggregations.domains.buckets[]' | while read -r bucket; do
    updated_bucket=$(...)
done
# 这里只用了最后一次的updated_bucket，没有合并成数组替换回原JSON

这种写法就会导致最终只更新了最后一个元素。

内容的提问来源于stack exchange，提问作者Sshh