如何加速jq表达式？匹配项在文件末尾时快速定位目标对象

我使用以下jq代码从JSON文件中提取数据，已知最多存在一个"/Type".N为"/Catalog"的对象，如何让jq找到第一个该对象后停止搜索？

.[] | select(.[1] | objects."/Type".N == "/Catalog") | .[1]."/Dests"

补充说明 #

我尝试了以下命令，但均未明显提速。已知匹配项位于文件末尾，理论上能从文件末尾查找的工具应能快速完成搜索。jq是否总是以流的方式处理输入？如果是，是否无法快速获取结果？

• 命令1：

  .[]][1] | select(objects."/Type".N == "/Catalog")."/Dests"
  

  执行耗时：

  real    0m8.905s
  user    0m8.063s
  sys 0m0.822s
  

• 命令2：

  first(reverse[][1] | select(objects."/Type".N == "/Catalog")."/Dests")
  

  执行耗时：

  real    0m9.228s
  user    0m8.315s
  sys 0m0.875s
  

解决方案与原理 #

1. 让jq找到匹配项后立即停止的正确写法 #

要实现找到第一个匹配对象后终止遍历，需用first()函数包裹筛选逻辑，优化后的代码如下：

first(.[] | select(.[1] | objects."/Type".N == "/Catalog") | .[1]."/Dests")

first()会在获取到第一个符合条件的结果后立刻停止后续遍历，避免无意义的计算。你最初的写法未使用first()，导致jq会遍历完所有元素才输出结果。

2. 反向遍历未提速的原因 #

jq本质是流式顺序处理输入，它会从JSON起始位置开始逐元素解析。即使使用reverse()，也需要先把整个JSON数组加载到内存完成反转，再从头遍历反转后的数组——这反而增加了内存开销和预处理时间，因为反转操作本身就要完整遍历一次数组。

3. 匹配项在末尾的优化思路 #

如果匹配项固定在JSON数组末尾，而jq无法原生反向遍历，可尝试两种方向：

• shell工具预处理（限特定格式）：若你的JSON是每行一个数组元素的换行分隔格式，可先用tac反转文件内容，再用jq处理，找到第一个匹配项后停止；
• 换用专用工具：针对超大体积JSON，可考虑jj、gron这类支持更灵活遍历逻辑的JSON查询工具，它们在反向查找场景下效率更高。

内容的提问来源于stack exchange，提问作者user119720