基于jq实现大JSON文件通配符路径流式提取方案问询

需求概述 #

通过通配符路径（用$<>表示任意匹配）从100GB以上的超大JSON文件中提取特定对象，仅使用jq工具实现流式处理，将路径字符串转换为对应的jq过滤器。

待处理JSON格式示例 #

File 1（多层嵌套用户数据） #

{"data": {"<userId1>": {"things": {"<thingId1>": {"subfield1": "blah1","subfield3": "foobar"},"<thingId2>": {"subfield2": "blah2"}}},"<userId2>": {"things": {"<thingId1>": {"subfield4": "blah3"},"<thingId2>": {"subfield3": "blah4"}}}},"users": {"<userId1>": {"name": "user1","email": "foo@bar.com"},"<userId2>": {"name": "user2"},"<userId3>": {"email": "hello@world.com"}}}

File 2（简单键值对对象列表） #

{"<key1>": {"subfield1": "blah1","subfield3": "foobar"},"<key2>": {"subfield2": "blah2"}}

File 3（多层嵌套键的对象列表） #

{"<key1>": {"<subKey1A>": {"<deeperKey1A>": {"subfield1": "blah1","subfield3": "foobar"},"<deeperKey2A>": {"subfield1": "blah1","subfield4": "foobar4"}},"<subKey2A>": {"<deeperKey2A>": {"subfield4": "foobar4"}}},"<key2>": {"<subKey1B>": {"<deeperKey2B>": {"subfield1": "blah1","subfield4": "foobar4"}},"<subKey2B>": {"<deeperKey1B>": {"subfield1": "blah1","subfield3": "foobar"},"<deeperKey3B>": {"subfield4": "foobar6"}}}}

注：所有<xxx>格式的键为任意ID

现有问题 #

• File 2场景：使用$key通配符查询时，过滤器输出重复条目
• File 3场景：使用$key/$subKey/$deeperKey通配符查询时，无法正确提取目标对象，仅输出顶层键及嵌套对象

解决方案 #

核心思路 #

利用jq的--stream参数将超大JSON拆分为路径-值对的流，基于通配符路径生成精准的过滤器，避免加载整个文件到内存，同时解决重复输出和层级匹配问题。

1. 解决File 2的重复输出问题

针对$key查询（提取所有顶层键对应的对象），使用以下流式过滤器：

# 直接输出所有顶层对象的值
jq --stream 'select(length == 2) | .[1]' file2.json

# 保留键值对结构输出
jq --stream 'select(length == 2) | {key: .[0][0], value: .[1]}' file2.json

原理：流式模式下，顶层键值对的路径长度为2（数组第一个元素是键，第二个是值），select(length == 2)精准筛选叶子节点，避免输出父节点的结构信息导致重复。

2. 解决File 3的多层通配符提取问题

针对$key/$subKey/$deeperKey查询（提取三层嵌套下的所有叶子对象），使用以下过滤器：

# 直接输出所有三层嵌套的叶子对象值
jq --stream 'select(length == 4) | .[1]' file3.json

# 重构嵌套结构输出
jq --stream 'select(length == 4) | reduce .[0][0:3] as $k ({}; .[$k[0]][$k[1]][$k[2]] = .[1])' file3.json

原理：三层嵌套的叶子节点路径长度为4（前三个元素是层级键，第四个是值），select(length == 4)精准匹配目标层级，按需选择输出值或重构完整嵌套结构。

通用通配符路径转jq过滤器规则

假设通配符路径为path1/$wildcard1/path2/$wildcard2，转换步骤：

1. 计算目标叶子节点的路径长度：层级数+1（比如上述路径对应4个层级片段，叶子节点路径长度为5）
2. 用select(length == 目标长度)筛选对应层级的流数据
3. 若需保留路径信息，用reduce重构对象；若仅需值，直接提取.[]

流式处理注意事项 #

• 必须添加--stream参数，避免加载整个超大文件到内存
• 路径长度计算要准确：每个层级的键对应路径数组的一个元素，叶子节点路径长度=层级片段数+1
• 若需匹配特定格式的通配符键，可结合test()正则，比如匹配<key\d+>格式的键：.[] | test("^<key\\d+$")

内容的提问来源于stack exchange，提问作者Rich