如何用JQ高效拆分journald日志中的有效与无效JSONL记录

直接使用以下jq命令，单次进程即可完成有效JSONL与原始无效行的分离，完全适配2GB级大文件的高效处理：

jq -R '
  . as $line
  | try (fromjson; $line)
  catch ($line | stderr)
' input.log 1> good.jsonl 2> bad.txt

命令详解 #

• -R：开启原始输入模式，让jq将每一行输入当作纯字符串处理，而非自动尝试解析JSON，这是处理混合格式日志的核心前提。
• . as $line：将当前行的原始内容存入变量$line，确保解析失败时能输出未修改的原始文本。
• try (fromjson; $line)：尝试将字符串解析为JSON——
  • 若解析成功（该行是有效JSONL），直接输出原始行$line，既保证合法性，又完整保留原始日志的格式。
  • fromjson仅作为验证步骤，不修改输出内容，避免不必要的序列化开销。
• catch ($line | stderr)：解析失败时，将原始无效行通过stderr输出，后续通过重定向写入bad.txt。

效果验证 #

针对示例输入：

{"@timestamp":"2024-07-26T11:00:01.843+02:00","message":"Hello"}
Started my.service - Service Description
Listening for transport dt_socket at address: 5045
{"@timestamp":"2024-07-26T11:10:02.356+02:00","message":"World"}

执行命令后：

• good.jsonl中保留两行有效JSON，与原始输入完全一致；
• bad.txt中保留两行原始无效行，无换行符转义、无错误信息冗余。

效率优势说明 #

bash逐行循环调用jq时，每一行都要启动一个新的jq进程，2GB日志可能涉及数百万次进程创建，系统开销极高。此方案仅启动一次jq进程，批量处理所有输入，IO和进程开销降至最低，完美适配大文件场景。

内容的提问来源于stack exchange，提问作者Theo