MongoDB连续两次$lookup查询丢失首个关联结果问题咨询

问题 #

在MongoDB中执行两次$lookup关联查询时，首个关联的结果丢失，但单独执行任意一个关联都能正常返回数据。疑问是否需要在连续关联时显式使用$project命令。

执行代码 #

results = db['profiles'].aggregate([
    {
        '$lookup': {
            'from': 'amounts', 
            'localField': 'id', 
            'foreignField': 'id', 
            'as': 'joinedAmounts',
            'pipeline': [
                {'$sort': {'date': -1}},
                {'$limit': 1}
                ]
        }
    },

    {
        '$lookup': {
            'from': 'inv', 
            'localField': 'id', 
            'foreignField': 'id', 
            'as': 'joinedInv'
        }
        },
])

示例文档 #

profiles集合

{"name": "blah", "id": 12345}

amounts集合

{"id": 12345, "date": "11/11/22", "amount": 123.00}

inv集合

{"id": 12345, "date": "11/11/22", "value": 11.00}

解决思路与方案 #

连续执行$lookup不需要显式添加$project，问题大概率和以下几点有关：

1. 检查字段类型匹配 #

MongoDB的关联是严格类型匹配，确认三个集合中的id字段类型完全一致（比如都是数字12345，而非字符串"12345"）。类型不匹配会直接导致关联失败，返回空数组。

2. 验证首个关联的子管道逻辑 #

第一个$lookup中使用了子管道做排序和限制，单独验证这个子管道是否能返回数据：

db.amounts.aggregate([
  { $match: { id: 12345 } },
  { $sort: { date: -1 } },
  { $limit: 1 }
])

如果这个查询返回空，说明子管道逻辑或数据本身有问题（比如date字段格式不规范导致排序异常）。

3. 修改首个关联的写法（显式匹配） #

将首个$lookup改为用let和$expr显式关联的写法，避免隐式匹配可能的问题：

results = db['profiles'].aggregate([
    {
        '$lookup': {
            'from': 'amounts', 
            'let': { 'profile_id': '$id' },
            'pipeline': [
                { '$match': { '$expr': { '$eq': ['$id', '$$profile_id'] } } },
                {'$sort': {'date': -1}},
                {'$limit': 1}
            ],
            'as': 'joinedAmounts'
        }
    },
    {
        '$lookup': {
            'from': 'inv', 
            'localField': 'id', 
            'foreignField': 'id', 
            'as': 'joinedInv'
        }
    },
])

4. 调试中间结果 #

可以在首个$lookup后添加$project阶段，临时查看中间结果，确认首个关联是否真的没有返回数据：

results = db['profiles'].aggregate([
    {
        '$lookup': {
            'from': 'amounts', 
            'localField': 'id', 
            'foreignField': 'id', 
            'as': 'joinedAmounts',
            'pipeline': [
                {'$sort': {'date': -1}},
                {'$limit': 1}
                ]
        }
    },
    # 临时添加，查看首个关联后的结果
    { '$project': { 'name': 1, 'id': 1, 'joinedAmounts': 1 } },
    {
        '$lookup': {
            'from': 'inv', 
            'localField': 'id', 
            'foreignField': 'id', 
            'as': 'joinedInv'
        }
    },
])

内容的提问来源于stack exchange，提问作者disruptive