MongoDB 3.4过滤$lookup关联结果并移除空数组的技术方案咨询

看起来你已经离目标很近了！问题核心在于完成权限过滤后，没有移除那些permissions为空的项目文档，导致分页统计包含了无效的空条目。既然你提到不能用$unwind，那我们可以通过调整聚合管道的顺序和添加精准过滤步骤来解决这个问题。

修正后的聚合管道（简洁版） #

pipeline: [
    // 第一步：保留你原有的项目基础匹配条件
    ['$match' => [/* 你的基础筛选条件 */]],
    // 第二步：关联project_permission集合
    ['$lookup' => [
        'from' => 'project_permission',
        'localField' => '_id',
        'foreignField' => 'project_id',
        'as' => 'project_permissions'
    ]],
    // 第三步：先过滤出当前用户拥有write权限的项目（直接排除无权限的项目）
    ['$match' => [
        '$expr' => [
            '$gt' => [
                '$size' => [
                    '$filter' => [
                        'input' => '$project_permissions',
                        'as' => 'perm',
                        'cond' => [
                            '$and' => [
                                ['$eq' => ['$$perm.user_id', MongoDB\BSON\ObjectId#1 ( [oid] => '582b30dd1e634e6362e1b504' )]],
                                ['$eq' => ['$$perm.permission', 'write']]
                            ]
                        ]
                    ]
                ],
                0
            ]
        ]
    ]],
    // 第四步：整理输出的permissions结构（只保留需要的字段）
    ['$project' => [
        'shared_permissions' => 1,
        'short_id' => 1,
        'title' => 1,
        'owner_id' => 1,
        'permissions' => [
            '$map' => [
                'input' => [
                    '$filter' => [
                        'input' => '$project_permissions',
                        'as' => 'perm',
                        'cond' => [
                            '$and' => [
                                ['$eq' => ['$$perm.user_id', MongoDB\BSON\ObjectId#1 ( [oid] => '582b30dd1e634e6362e1b504' )]],
                                ['$eq' => ['$$perm.permission', 'write']]
                            ]
                        ]
                    ]
                ],
                'as' => 'perm',
                'in' => [
                    'user_id' => '$$perm.user_id',
                    'permission' => '$$perm.permission'
                ]
            ]
        ]
    ]]
]

更高效的优化版（避免重复过滤逻辑） #

如果觉得上面的$filter写了两次有点冗余，可以用$addFields先存一个临时字段，再基于这个字段做匹配和投影：

pipeline: [
    ['$match' => [/* 基础筛选条件 */]],
    ['$lookup' => [
        'from' => 'project_permission',
        'localField' => '_id',
        'foreignField' => 'project_id',
        'as' => 'project_permissions'
    ]],
    // 新增：用临时字段存储过滤后的有效权限
    ['$addFields' => [
        'filtered_perms' => [
            '$filter' => [
                'input' => '$project_permissions',
                'as' => 'perm',
                'cond' => [
                    '$and' => [
                        ['$eq' => ['$$perm.user_id', MongoDB\BSON\ObjectId#1 ( [oid] => '582b30dd1e634e6362e1b504' )]],
                        ['$eq' => ['$$perm.permission', 'write']]
                    ]
                ]
            ]
        ]
    ]],
    // 过滤掉无有效权限的项目
    ['$match' => ['$expr' => ['$gt' => ['$size' => '$filtered_perms', 0]]]],
    // 整理输出结构并移除临时字段
    ['$project' => [
        'shared_permissions' => 1,
        'short_id' => 1,
        'title' => 1,
        'owner_id' => 1,
        'permissions' => [
            '$map' => [
                'input' => '$filtered_perms',
                'as' => 'perm',
                'in' => [
                    'user_id' => '$$perm.user_id',
                    'permission' => '$$perm.permission'
                ]
            ]
        ],
        'filtered_perms' => 0 // 清理临时字段
    ]]
]

关键调整说明 #

• 提前过滤无效项目：在$lookup之后立刻用$match + $expr + $size判断，只保留过滤后权限数组长度大于0的项目，从根源上排除空条目，解决分页统计错误。
• 避免无效数据流转：先筛选出有效项目再做结构整理，减少后续步骤需要处理的数据量，提升聚合效率。

为什么原管道会出现空数组？ #

你原来的管道只在$project里过滤了permissions的内容，但没有移除那些过滤后permissions为空的项目文档，这些空文档会被保留在结果集中，导致分页统计虚高。通过新增的$match步骤，就能彻底清除这些无效条目。

调整后返回的结果就只会包含当前用户拥有write权限的项目，不会出现空数组，分页统计也能正常工作了。

内容的提问来源于stack exchange，提问作者Random Dude