处理1.5TB Wikidata JSON数组：jq性能优化与过滤方案问询

核心优化思路：转为NDJSON流式处理 #

原始文件是单个1.5TB的JSON数组，直接用.[]遍历会加载整个文件到内存，导致内存溢出且速度极慢。最有效的方式是去掉外层数组括号，将其转为NDJSON（每行一个JSON对象），让jq流式处理单个对象，无需加载全量数据。

1. 转换原始文件为NDJSON格式 #

• 用sed快速移除数组首尾的括号（假设原始文件名为wikidata.json）：

  sed '1s/^\[//; $s/\]$//' wikidata.json > wikidata.ndjson
  

• 若文件末尾元素后存在多余逗号，可追加处理：sed -i 's/,$//' wikidata.ndjson（Wikidata官方导出通常每行一个元素，无末尾逗号，此步可选）。

2. 优化后的jq过滤命令 #

使用jq的流式处理模式（-n+-c）处理NDJSON，同时优化过滤逻辑减少计算开销：

jq -nc 'inputs | 
  select(
    .type == "item" and 
    .labels.en and 
    (.claims.P31 // []) | all(.mainsnak.datavalue.value.id != "Q13442814")
  ) | 
  (.id | ltrimstr("Q") | tonumber) as $id | 
  ([.labels.en.value] + (.aliases.en // [] | map(.value)))[] | 
  [$id, .] | @tsv' wikidata.ndjson > output.tsv

3. 过滤逻辑优化细节 #

• 提前终止无效判断：先检查.type和.labels.en，不符合条件的条目直接跳过，避免后续不必要的claims解析操作。
• 简化P31排除逻辑：用all()直接遍历.claims.P31数组，替代原方案的map()+all()，减少中间数组生成的内存和计算开销。
• 合并标签与别名遍历：将英文标签和别名合并为一个数组后统一遍历，减少重复的$id赋值操作。
• 严格类型转换：用tonumber将Q开头的ID转为数字，完全符合需求中的格式要求。

关于--stream参数的取舍 #

--stream是逐JSON路径解析数据，虽然内存占用极低，但需要编写复杂的路径匹配逻辑，且解析开销远高于NDJSON流式处理，整体速度会更慢。对于Wikidata这种内部元素按换行分隔的数组，转NDJSON是兼顾速度和内存的最优解。

内容的提问来源于stack exchange，提问作者errorline1