寻求适用于实时聚合大型复杂嵌套JSON的最优数据库方案

我们需要选择最适合实时聚合大规模复杂JSON数据的数据库，具体场景与限制如下：

• 单个JSON对象大小2MB-100MB，包含结构未知的嵌套数组
• 月数据量可达10TB
• 核心需求：对随机结构的数据做聚合，提取价值数据与关联关系，重点是展平嵌套数组后完成聚合、去重等操作
• 现有方案的问题：
  • Elasticsearch：缺乏转换数据结构的聚合能力，无法满足展平嵌套数组的核心需求
  • MongoDB（已极致优化）：数据转换无问题，但因文档过大且未规范化，查询耗时1-3分钟，扩展性不足
• 典型查询流程（以提取某客户所有问题为例）：
  1. 基于metadata字段筛选客户的所有文档
  2. 展平所有文档中output.problems嵌套数组
  3. 合并所有problems条目
  4. 对problems.id去重
• 数据特性：
  1. 文档自包含，无需外部关联查询
  2. 同类型文档存于独立集合
• 限制条件：无法预处理/规范化数据，必须实时计算，目标查询速度1-5秒

1. ClickHouse #

ClickHouse的特性完全匹配你的核心需求：

• 原生支持解析大体积JSON，内置arrayJoin、JSONExtractArray等函数，可快速展平嵌套数组，配合DISTINCT即可完成去重聚合操作
• 列式存储架构针对大规模数据聚合做了深度优化，10TB级别的数据在metadata字段有索引的前提下，筛选+展平+聚合的速度能稳定控制在几秒内
• 无需提前预处理数据，直接查询原始JSON文档，完全符合你的限制条件
• 优化建议：给metadata字段创建二级索引，进一步加快第一步的文档筛选速度

2. DuckDB #

DuckDB是轻量级OLAP数据库，适合单节点或小规模集群场景：

• 原生支持复杂JSON的查询与处理，unnest函数可轻松展平嵌套数组，结合聚合函数快速完成去重合并
• 针对内存与磁盘混合查询做了优化，大体积JSON文档的读取解析效率极高，查询延迟能满足1-5秒的目标
• 无需复杂部署，适合快速验证场景，若数据量持续增长，也可扩展到集群模式

3. Apache Druid #

Druid适合超大规模数据的实时分析场景：

• 支持直接摄入原始JSON数据，无需提前定义Schema，可动态解析嵌套结构
• 内置的聚合函数与数组处理能力，能直接在查询阶段完成嵌套数组展平与去重
• 分布式架构支持水平扩展，10TB级别的数据可分散到多个节点并行处理，查询响应速度达标
• 注意：因你对写入速度无要求，可采用批量摄入模式优化存储效率

方案对比总结 #

内容的提问来源于stack exchange，提问作者Ahmed Ezzat