使用Pymongo时，Mongo如何自动实现重复嵌套字段的Document interning？

MongoDB 本身没有原生的自动 Document Interning（自动将重复嵌套字段替换为指针）功能，但可以通过唯一索引+原子写入操作结合单独的共享集合，实现类似需求——让每个唯一的嵌套字段仅存储一次，主文档通过引用关联，且无需全局扫描所有文档，适配多 Worker 场景。

具体实现步骤（基于 Pymongo） #

1. 准备共享集合与唯一索引 #

创建专门存储唯一嵌套字段的集合，并为嵌套字段的内容创建复合唯一索引，确保相同内容只会被存储一次：

from pymongo import MongoClient

# 连接数据库
client = MongoClient("mongodb://localhost:27017/")
db = client["your_database"]

# 创建存储共享嵌套字段的集合
shared_coll = db["shared_nested_fields"]
# 为嵌套字段的所有子字段创建复合唯一索引，避免重复存储
shared_coll.create_index([("title", 1), ("desc", 1)], unique=True)

2. 原子写入主文档与共享字段 #

使用 findOneAndUpdate 原子操作，在写入主文档前，先确保共享集合中已存在目标嵌套字段（不存在则自动插入），然后将共享文档的 _id 作为引用存入主文档：

def insert_main_document(docid, nested_content):
    main_coll = db["main_documents"]
    
    # 原子操作：查找或插入嵌套字段，返回对应的共享文档
    shared_doc = shared_coll.find_one_and_update(
        filter=nested_content,
        update={"$setOnInsert": nested_content},
        upsert=True,  # 不存在则插入
        return_document=True  # 返回操作后的文档
    )
    
    # 写入主文档，存储共享字段的引用ID
    main_coll.insert_one({
        "docid": docid,
        "nested_field_ref": shared_doc["_id"]
    })

3. 查询时关联获取完整内容 #

通过 $lookup 聚合操作，在查询主文档时自动关联共享集合，获取完整的嵌套字段内容：

def get_main_doc_with_nested(docid):
    main_coll = db["main_documents"]
    
    aggregation_pipeline = [
        {"$match": {"docid": docid}},
        {"$lookup": {
            "from": "shared_nested_fields",
            "localField": "nested_field_ref",
            "foreignField": "_id",
            "as": "nested_field_that_will_always_be_the_same"
        }},
        {"$unwind": "$nested_field_that_will_always_be_the_same"}  # 展开数组为单个对象
    ]
    
    result = list(main_coll.aggregate(aggregation_pipeline))
    return result[0] if result else None

方案优势 #

• 原子性保障：findOneAndUpdate 是原子操作，多 Worker 同时写入相同嵌套字段时，只会有一个写入共享集合，避免重复存储。
• 无需全局扫描：每个写入操作仅针对当前处理的嵌套字段，不需要遍历所有主文档。
• 原生功能实现：完全基于 MongoDB 的索引和原子操作能力，依赖 Pymongo 原生 API，无需额外中间件。

内容的提问来源于stack exchange，提问作者Stack Overflow