批量导入嵌套JSON至MongoDB引用集合的技术问询

嘿，针对你这种几十GB级别的嵌套JSON要拆分成引用集合导入MongoDB的需求，我给你梳理一套实操性拉满的方案——毕竟直接把几千个children嵌在文档里，不仅写入时容易爆内存，后续查询、更新也会巨卡。

核心就是把原文档拆成两个（或多个）独立集合：

• 主集合：存储原文档除了children之外的所有字段
• 子集合：存储每个children对象，同时添加parent_id字段关联到主文档的_id

这种引用式设计既能规避大文档的性能问题，也能灵活查询父子数据（用$lookup关联查询就行）。

1. 代码流式处理（适合复杂嵌套/自定义逻辑） #

几十GB的文件绝对不能一次性读进内存，得用流式解析工具。Python的ijson库就是干这个的——它能逐节点解析JSON，内存占用极低。

举个极简实现的代码示例：

import ijson
import pymongo
from bson.objectid import ObjectId

# 连接MongoDB（按需调整地址/认证信息）
client = pymongo.MongoClient("mongodb://localhost:27017/")
db = client["your_target_db"]
main_col = db["main_docs"]
child_col = db["child_docs"]

# 流式读取大JSON文件（假设顶层是数组结构）
with open("huge_data.json", "rb") as f:
    # 逐个读取顶层的主文档
    for main_doc in ijson.items(f, "item"):
        # 剥离children数组，单独处理
        children_list = main_doc.pop("children", [])
        # 插入主文档，拿到它的唯一ID
        main_doc_id = main_col.insert_one(main_doc).inserted_id
        
        # 给每个子文档添加parent_id引用，批量插入（重点！批量插比单条插快10倍以上）
        child_docs_with_ref = [{"parent_id": main_doc_id, **child} for child in children_list]
        if child_docs_with_ref:
            child_col.insert_many(child_docs_with_ref)

注意：如果children里还有嵌套的子节点（比如children.children），可以加个递归函数，逐层拆解成多级子集合。

2. 命令行工具组合（适合简单结构/无代码需求） #

如果不想写代码，用jq（命令行JSON处理器）+ mongoimport就能搞定，全程命令行操作：

第一步：拆分主文档和子文档 #

• 提取主文档（剔除children字段）：

jq 'del(.children)' huge_data.json > main_docs.json

• 提取子文档并添加parent_id（假设原主文档有_id字段，没有的话可以先给主文档生成ID再关联）：

jq -c '.[] | .children[] + {parent_id: ._id}' huge_data.json > child_docs.json

-c参数让输出每行一个JSON对象，适合mongoimport批量处理。

第二步：导入MongoDB #

分别导入两个文件：

# 导入主集合
mongoimport --db your_target_db --collection main_docs --file main_docs.json --jsonArray --batchSize 10000

# 导入子集合
mongoimport --db your_target_db --collection child_docs --file child_docs.json --batchSize 10000

--batchSize调大一点（比如10000），能减少网络请求次数，大幅提升导入速度。

• 给子集合建索引：查询主文档的子数据时，parent_id是核心查询条件，一定要建索引：

db.child_docs.createIndex({parent_id: 1})

• 开启MongoDB压缩：WiredTiger引擎默认支持snappy压缩，开启后能把几十GB的文件压缩到几GB，减少磁盘占用和IO开销（不用额外配置，默认就开了）。
• 分片集群（超大数据量）：如果数据量已经突破单节点上限，给主/子集合按parent_id分片，能把写入/查询压力分散到多个节点。

• 重复子文档：如果有大量重复的children对象，可以给子集合的唯一标识字段建唯一索引，插入时跳过重复项：

db.child_docs.createIndex({unique_child_key: 1}, {unique: true})

插入时用insert_many(..., ordered=False)，遇到重复项会自动跳过，不中断整个导入流程。

• 多层嵌套：如果是三层甚至更多层嵌套（比如main -> child -> grandchild），用递归拆解的方式，每层都存父级的_id，生成对应的多级集合。

内容的提问来源于stack exchange，提问作者David Bruce Borenstein