如何用PyMongo高效获取集合中所有含嵌套键及其对应数据类型？

如果你不想遍历集合中所有文档来提取键和对应类型，用MongoDB聚合框架在服务器端处理是最优方案——避免把全量数据拉到客户端，大幅减少网络开销和内存占用，尤其适合大数据集。

实现思路 #

利用MongoDB 4.4+支持的$function自定义函数，递归遍历文档的嵌套结构，提取所有键的点分隔路径及其对应数据类型，最后通过聚合去重合并结果。

代码示例 #

from pymongo import MongoClient

client = MongoClient("mongodb://localhost:27017/")
db = client["your_database"]
collection = db["your_collection"]

# 聚合管道：提取所有唯一键路径与对应类型
pipeline = [
    {
        "$group": {
            "_id": None,
            "docs": {"$push": "$$ROOT"}
        }
    },
    {
        "$project": {
            "schema": {
                "$function": {
                    "body": """
                        function(docs) {
                            const schema = {};
                            // 递归遍历文档，提取键路径和类型
                            function traverse(doc, prefix = "") {
                                for (const key in doc) {
                                    const fullPath = prefix ? `${prefix}.${key}` : key;
                                    const value = doc[key];
                                    if (typeof value === "object" && value !== null && !Array.isArray(value)) {
                                        traverse(value, fullPath);
                                    } else {
                                        // 处理同一键多类型的情况：收集所有出现过的类型
                                        if (schema[fullPath]) {
                                            if (!schema[fullPath].includes(typeof value)) {
                                                schema[fullPath] = [...schema[fullPath], typeof value];
                                            }
                                        } else {
                                            schema[fullPath] = typeof value;
                                        }
                                    }
                                }
                            }
                            docs.forEach(doc => traverse(doc));
                            return schema;
                        }
                    """,
                    "args": ["$docs"],
                    "lang": "js"
                }
            }
        }
    },
    {
        "$replaceRoot": {"newRoot": "$schema"}
    }
]

# 执行聚合并获取结果
result = list(collection.aggregate(pipeline))
if result:
    print(result[0])

示例输出 #

针对你提供的测试文档，运行后会得到：

{
    "_id": "string",
    "name": "string",
    "age": "number",
    "sex": "string",
    "foo.bar": "string",
    "foo.bar2.foo2": "string"
}

关键说明 #

1. 类型处理：如果集合中同一键存在多种数据类型（比如某文档的age是字符串，另一个是数字），代码会自动收集所有出现过的类型（转为数组形式），你可以根据需求调整逻辑（比如保留首次出现的类型、抛出异常等）。
2. 版本兼容：如果你的MongoDB版本低于4.4，可以用$objectToArray配合$reduce实现递归遍历，但代码会更繁琐；优先升级到4.4+获得更简洁的实现。
3. 性能优势：聚合操作在服务器端执行，只返回最终的schema结果，无需传输全量文档，比客户端遍历高效几个数量级。

内容的提问来源于stack exchange，提问作者Abdulaziz Ibrahim