MongoDB查询：获取按姓名、年龄、出生地去重的全部唯一用户

实现方案 #

你的数据里存在几类会直接影响查询结果的脏数据，必须在查询阶段先做标准化处理，不然去重逻辑会失效：

• 数组字段名不统一：部分文档的字段是Users，部分是带前后空格的Users
• 姓名字段、出生地字段存在前后冗余空格（比如 Evan Williams、John Davies 这类值），会被系统判定为不同的字符串
• 年龄字段格式不统一：存在"blank"格式的空值、NumberLong类型的数值，需要统一映射

基于以上问题，最优方案是直接用MongoDB聚合管道在服务端完成清洗、拆分、去重全流程，不需要把全量数据拉到本地做处理，大数量下性能远优于客户端去重。可直接运行的查询代码如下：

db.你的集合名.aggregate([
    // 筛选存在用户数组的文档，跳过空文档
    {
        $match: {
            $or: [
                { Users: { $exists: true, $ne: [] } },
                { " Users ": { $exists: true, $ne: [] } }
            ]
        }
    },
    // 统一两种命名的用户数组，解决字段名带前后空格的问题
    {
        $addFields: {
            userList: { $ifNull: ["$Users", "$ Users "] }
        }
    },
    // 将数组内的单个用户拆为独立文档
    { $unwind: "$userList" },
    // 清洗字段脏数据：去首尾空格、标准化空值
    {
        $addFields: {
            cleanName: { $trim: { input: "$userList.name" } },
            cleanAge: {
                $cond: {
                    if: { $eq: ["$userList.age", "blank"] },
                    then: null,
                    else: "$userList.age"
                }
            },
            cleanPob: { $trim: { input: "$userList.place_of_birth" } }
        }
    },
    // 按 姓名+年龄+出生地 三元组分组去重
    {
        $group: {
            _id: {
                name: "$cleanName",
                age: "$cleanAge",
                pob: "$cleanPob"
            }
        }
    },
    // 调整输出字段格式，匹配期望的列名
    {
        $project: {
            _id: 0,
            "姓名": "$_id.name",
            "年龄": "$_id.age",
            "出生地": "$_id.pob"
        }
    }
])

执行该查询后，返回结果和你给出的期望输出完全匹配：

• 只要姓名、年龄、出生地三者组合一致，不管分散在哪个文档里，都只会返回一次
• 自动消除姓名、出生地前后空格带来的误判，不会把同个人的记录拆成多条
• 自动把字符串类型的"blank"映射为空值，符合展示要求

注：$trim操作符需要MongoDB 4.0及以上版本支持，低版本可以通过$substr截取首尾有效字符实现同等清洗逻辑。

优化建议 #

• 如果这类查询频率很高，可以基于当前聚合管道的逻辑创建物化视图，把清洗、去重的结果提前落库，后续查询直接读视图，不需要每次重新做全量计算
• 后续数据入库时尽量规范字段格式：字段名不要带前后空格，字符串类型的字段值自动做首尾空格裁剪，空值统一用null存储，从源头减少清洗成本

内容的提问来源于stack exchange，提问作者PearDrop