如何用jq在初始数据处理阶段快速解析嵌套JSON格式的data字段？

直接通过jq就能在初始数据处理阶段完成所有操作，不需要单独处理每个data字段。以下是具体实现：

单页数据处理命令 #

curl -sX GET "https://platform-explorer.pshenmic.dev/dataContract/GWRSAVFMjXx8HpQFaNJMqBV7MBgMK4br5UESsB4S31Ec/documents?page=23&limit=4" | jq '.resultSet[] | {timestamp: .timestamp, label: (.data | fromjson).label}'

命令解释 #

• .resultSet[]：遍历返回结果中resultSet数组的每一个数据块
• {timestamp: .timestamp}：提取原数据块的timestamp字段
• (.data | fromjson).label：将转义的data字符串解析为标准JSON对象，再提取其中的label字段

如果需要输出更易读的纯文本或CSV格式（方便导入表格工具），可以用这个变种：

# 输出CSV格式（无额外引号）
curl -sX GET "https://platform-explorer.pshenmic.dev/dataContract/GWRSAVFMjXx8HpQFaNJMqBV7MBgMK4br5UESsB4S31Ec/documents?page=23&limit=4" | jq -r '.resultSet[] | [.timestamp, (.data | fromjson).label] | @csv'

批量处理所有分页数据（超1000条） #

因为数据总量超过1000条，单页无法获取全部，可通过Shell循环自动遍历所有分页，批量处理：

#!/bin/bash
page=1
# 每次请求100条，可根据接口限制调整limit值
limit=100

while true; do
  # 获取当前页数据
  response=$(curl -sX GET "https://platform-explorer.pshenmic.dev/dataContract/GWRSAVFMjXx8HpQFaNJMqBV7MBgMK4br5UESsB4S31Ec/documents?page=$page&limit=$limit")
  
  # 检查当前页是否有数据，无数据则退出循环
  result_count=$(echo "$response" | jq '.resultSet | length')
  if [ "$result_count" -eq 0 ]; then
    break
  fi
  
  # 处理当前页数据，输出CSV格式结果
  echo "$response" | jq -r '.resultSet[] | [.timestamp, (.data | fromjson).label] | @csv'
  
  # 页数自增
  page=$((page + 1))
done

使用说明 #

1. 将上述代码保存为fetch_data.sh
2. 赋予执行权限：chmod +x fetch_data.sh
3. 运行脚本：./fetch_data.sh，结果会直接输出到终端，也可以重定向到文件：./fetch_data.sh > output.csv

内容的提问来源于stack exchange，提问作者Mikhail Amk