MongoDB Pipeline式Lookup加载过慢的优化方案咨询

针对你当前的查询耗时问题，核心痛点在于全量$unwind数组后再匹配、过滤条件后置以及缺少针对性索引，以下是具体优化方案：

1. 前置核心过滤条件，减少后续处理的文档基数 #

原查询先执行两次$lookup再过滤schoolId，会对certificateTypeTbl的所有文档执行关联操作，完全没必要。把schoolId的过滤放在聚合最开始，只处理目标学校的证书类型文档：

// 新增前置过滤步骤，放在step1之前
$preStep = [
    '$match' => [
        'schoolId' => new MongoDB\BSON\ObjectID($this->schoolId)
    ]
];

2. 重构Lookup Pipeline，避免全量$unwind #

原Lookup里先$unwind整个证书数组再匹配，会把每个员工/学生的所有证书都展开成单文档，再筛选，这会产生大量中间数据。改用$elemMatch先过滤符合条件的文档，再用$filter提取目标证书元素，无需$unwind：

优化后的员工Lookup（step1） #

$step1 = [
    '$lookup' => [
        'from' => 'EmployeesTbl',
        'let' => ['certTypeId' => '$_id'],
        'pipeline' => [
            // 先筛选存在目标证书类型的员工，减少后续处理
            ['$match' => [
                '$expr' => [
                    '$in' => ['$$certTypeId', '$CertificatesDetails.documentType']
                ]
            ]],
            // 投影时用$filter提取符合条件的证书元素，不用unwind
            ['$project' => [
                '_id' => 1,
                'FirstName' => 1,
                'LastName' => 1,
                'EmployeeNumber' => 1,
                'CertificatesDetails' => [
                    '$filter' => [
                        'input' => '$CertificatesDetails',
                        'as' => 'cert',
                        'cond' => ['$eq' => ['$$cert.documentType', '$$certTypeId']]
                    ]
                ]
            ]]
        ],
        'as' => 'employeeArray'
    ]
];

优化后的学生Lookup（step2） #

$step2 = [
    '$lookup' => [
        'from' => 'studentTbl',
        'let' => ['certTypeId' => '$_id'],
        'pipeline' => [
            ['$match' => [
                '$expr' => [
                    '$in' => ['$$certTypeId', '$certificates_details.documentType']
                ]
            ]],
            ['$project' => [
                '_id' => 1,
                'first_name' => 1,
                'last_name' => 1,
                'uploadsFolder' => 1,
                'registration_temp_perm_no' => 1,
                'certificates_details' => [
                    '$filter' => [
                        'input' => '$certificates_details',
                        'as' => 'cert',
                        'cond' => ['$eq' => ['$$cert.documentType', '$$certTypeId']]
                    ]
                ]
            ]]
        ],
        'as' => 'studentArray'
    ]
];

3. 添加针对性索引，加速匹配 #

给关联集合的证书类型字段加索引，让$match和$in操作更快：

// 给员工表的证书类型字段加索引
db.EmployeesTbl.createIndex({"CertificatesDetails.documentType": 1})

// 给学生表的证书类型字段加索引
db.studentTbl.createIndex({"certificates_details.documentType": 1})

// 给证书类型表的schoolId加索引（已经前置过滤，索引能提速初始查询）
db.certificateTypeTbl.createIndex({"schoolId": 1})

4. 避免全量加载结果到内存 #

原查询用iterator_to_array把所有结果一次性加载到内存，如果结果集大，会占用大量内存并拖慢速度。改成直接遍历游标处理：

// 替换原iterator_to_array的写法
$cursor = $this->db->certificateTypeTbl->aggregate(
    array($preStep, $step1, $step2, $step3, $step4, ...), // 注意把preStep放在最前面
    $allowDiskCommand
);

// 遍历游标处理数据
foreach ($cursor as $document) {
    // 处理单个文档逻辑
}

5. 调整后续过滤逻辑 #

原step4里的$or判断数组非空，可以用$exists+数组下标判断更高效：

$step4 = [
    '$match' => [
        '$or' => [
            ['employeeArray.0' => ['$exists' => true]],
            ['studentArray.0' => ['$exists' => true]]
        ]
    ]
];

内容的提问来源于stack exchange，提问作者Nida Amin