日志可视化工具适配：单文件存储多根JSON条目及嵌套JSON处理咨询

问题背景 #

我正在使用Elastic和/或Splunk等日志可视化工具，需要为自研模拟程序生成并格式化日志文件，目前有两个核心疑问：

1. 如何在单个文本文件中存储多个根级JSON条目？
2. 如何处理嵌套JSON结构？

期望的日志条目格式示例（注：示例存在语法问题，多根JSON加逗号不符合JSON规范）：

{"entry_id": 1,
 "TIME": "12:00:12Z012/01/2022",
 "LOG_TYPE":"ERROR_REPORT",
 "DATA": {
          "FIELD A" : "ABC",
          "FIELD B" : "DEF"
         }
},
{"entry_id": 2,
 "TIME": "12:15:12Z012/01/2022",
 "LOG_TYPE":"STATUS_REPORT",
 "DATA": {
          "FIELD C" : "HIJ",
          "FIELD D" : 123
         }
}

方案1：JSON数组包裹 #

实现方式 #

将所有日志条目放在一个顶层JSON数组中，数组元素为单个日志对象，语法严格符合JSON规范：

[
  {"entry_id": 1,
   "TIME": "12:00:12Z012/01/2022",
   "LOG_TYPE":"ERROR_REPORT",
   "DATA": {
            "FIELD A" : "ABC",
            "FIELD B" : "DEF"
           }
  },
  {"entry_id": 2,
   "TIME": "12:15:12Z012/01/2022",
   "LOG_TYPE":"STATUS_REPORT",
   "DATA": {
            "FIELD C" : "HIJ",
            "FIELD D" : 123
           }
  }
]

疑问解决 #

• 多根JSON存储：通过数组统一包裹，彻底解决多个根级JSON的语法合法性问题
• 嵌套JSON结构：完全兼容，DATA这类嵌套字段可直接写入数组元素中

优缺点 #

✅ 严格符合JSON标准，任何JSON解析器都能正常读取
❌ 大文件解析时需加载整个数组到内存，性能开销大
❌ 不适合实时滚动日志（每次新增条目需修改数组末尾逗号）
👉 适合小批量日志导出场景，不推荐用于实时日志采集

方案2：NDJSON（换行分隔JSON） #

实现方式 #

每条日志条目作为独立JSON对象单独占一行，无顶层数组，无条目间逗号：

{"entry_id": 1, "TIME": "12:00:12Z012/01/2022", "LOG_TYPE":"ERROR_REPORT", "DATA": {"FIELD A" : "ABC", "FIELD B" : "DEF"}}
{"entry_id": 2, "TIME": "12:15:12Z012/01/2022", "LOG_TYPE":"STATUS_REPORT", "DATA": {"FIELD C" : "HIJ", "FIELD D" : 123}}

注：单条JSON允许换行（只要每行是完整JSON对象即可），但单行格式更利于日志工具逐行解析。

疑问解决 #

• 多根JSON存储：每行一个独立JSON对象，天然避免多根节点语法问题
• 嵌套JSON结构：完全支持，嵌套字段直接写入单行JSON即可

优缺点 #

✅ Elastic/Splunk生态原生支持（如Filebeat、Splunk Universal Forwarder默认兼容）
✅ 逐行解析，大文件/实时日志场景性能优异
✅ 新增日志无需修改历史内容，适合滚动日志生成
❌ 部分普通JSON解析器不支持（需用NDJSON专用解析库）
👉 推荐用于实时日志采集与可视化场景，是日志工具的首选格式

方案3：结构化日志模板 #

实现方式 #

在自研程序中预定义日志模板，通过填充变量生成合规日志，通常配合NDJSON或数组格式输出。例如用Python结构化日志库实现：

import structlog

logger = structlog.get_logger()

# 生成ERROR_REPORT日志
logger.info(
    entry_id=1,
    TIME="12:00:12Z012/01/2022",
    LOG_TYPE="ERROR_REPORT",
    DATA={"FIELD A": "ABC", "FIELD B": "DEF"}
)

# 生成STATUS_REPORT日志
logger.info(
    entry_id=2,
    TIME="12:15:12Z012/01/2022",
    LOG_TYPE="STATUS_REPORT",
    DATA={"FIELD C": "HIJ", "FIELD D": 123}
)

输出会自动生成符合NDJSON格式的日志条目。

疑问解决 #

• 多根JSON存储：模板默认输出单条独立JSON（配合NDJSON），也可配置为数组格式
• 嵌套JSON结构：模板支持直接传入嵌套字典，自动序列化为JSON嵌套结构

优缺点 #

✅ 强制日志格式统一，避免手动拼接导致的语法错误
✅ 便于程序集成，可统一管控所有日志字段的命名与类型
❌ 需要在程序中引入结构化日志依赖或实现模板逻辑
👉 适合自研程序的长期日志规范建设，从源头保证日志质量

总结建议 #

1. 多根JSON存储：优先选择NDJSON格式（适配Elastic/Splunk的实时采集需求）；如果是一次性导出的小批量日志，可选用JSON数组；绝对不要使用示例中多个根JSON加逗号的写法，会导致解析失败。
2. 嵌套JSON结构：三种方案都完全支持，只要保证嵌套部分是合法的JSON对象即可，你定义的DATA字段格式完全符合要求。

内容的提问来源于stack exchange，提问作者scm.tf