jq处理大JSON文件筛选指定slot值返回重复空数组的问题求助

问题原因分析 #

你遇到的问题核心是你的JSON文件属于每行一个独立JSON元素的「JSON Lines（NDJSON）」格式，但你用的jq命令是按「单个完整JSON数组」的逻辑来处理的，所以才会出现一堆空数组的结果。

当你执行[select(.data.slot == "6436990")]时，jq会把文件里的每一行JSON元素当成独立的输入对象，对每个对象单独执行一次筛选：如果当前元素不匹配条件，就输出一个空数组[]；如果匹配，就输出包含这个元素的数组。最终结果就是一堆空数组（对应不匹配的行）夹杂着少量匹配元素的数组，而不是把所有匹配元素合并成一个统一的大数组。

另外，处理7GB的超大文件时，这种写法效率极低，还会不必要地占用内存。

正确的解决方法 #

方法1：输出为JSON Lines格式（推荐，适合大文件）

如果不需要最终结果是一个标准JSON数组，只是要保存所有符合条件的元素，用这个命令最高效，不会把整个大文件加载到内存：

jq -c 'select(.data.slot == "6436990")' data.json > data_for_slot.json

它会逐行遍历文件，只输出匹配条件的JSON元素，每行一个，既省内存又快。

方法2：合并为单个JSON数组（如果需要数组格式）

如果你必须要求最终结果是一个标准的JSON数组，可以用--slurp（缩写-s）参数，它会把所有输入的JSON元素合并成一个大数组后再筛选：

jq -s '[.[] | select(.data.slot == "6436990")]' data.json > data_for_slot.json

⚠️ 注意：-s参数会把整个7GB的文件加载到内存中，如果你的机器内存容量不足，可能会出现内存溢出的问题，这种情况下优先选第一种方法。

额外小贴士 #

• 处理超大JSON文件时，优先考虑JSON Lines格式的输入输出，避免一次性加载整个文件到内存。
• 不确定文件格式的话，可以用head -n 2 data.json查看前两行，如果每行都是独立的JSON对象，那就是NDJSON格式。

备注：内容来源于stack exchange，提问作者Павел Зоранович Керкезов