Java MongoDB聚合查询游标受限仅返回500条结果求助

看起来你遇到的问题不是limit参数的锅，而是MongoDB Java驱动的默认游标批次大小在作祟！默认情况下，聚合返回的游标每次只会拉取500条数据，哪怕你设置了limit(0)或者更大的数值，如果你没有完整遍历游标，就只会拿到第一批次的500条。

下面给你一步步排查和解决的方案：

1. 先确认是不是没完整遍历所有结果 #

很多时候我们调试时可能只取了游标里的前几条，或者误以为AggregateIterable直接返回所有数据，但实际上它是懒加载的，需要你主动遍历才能拿到所有批次的数据。比如你之前可能只是取了第一个元素或者用了部分遍历，一定要用完整的循环来获取全部结果：

// 把所有结果收集到List里，确认总数
List<Document> fullResults = new ArrayList<>();
resultMongo.forEach(fullResults::add);
System.out.println("实际返回的总条数：" + fullResults.size());

2. 调整游标批次大小并开启磁盘使用支持 #

如果你的聚合结果确实超过500条，建议手动设置更大的批次大小，同时开启allowDiskUse(true)——当聚合的中间结果超过MongoDB默认的内存限制（100MB）时，必须开启这个选项，否则聚合会直接失败，也可能导致结果截断。

修改你的代码如下（顺便修正了几个字段引用的笔误）：

// 构建聚合管道
List<Bson> pipeline = Arrays.asList(
        Aggregates.match(and(filters)),
        Aggregates.group(
                Arrays.asList(
                        eq(CoverageWarningFieldEnum.DT_EXTRACT.getLabel(), "$" + CoverageWarningFieldEnum.DT_EXTRACT.getLabel()),
                        eq(CoverageWarningFieldEnum.ID_SUP_NUMBER.getLabel(), "$" + CoverageWarningFieldEnum.ID_SUP_NUMBER.getLabel()),
                        eq(CoverageWarningFieldEnum.CODE_SUPPLIER_DLPA_SITE.getLabel(), "$" + CoverageWarningFieldEnum.CODE_SUPPLIER_DLPA_SITE.getLabel()),
                        eq(CoverageWarningFieldEnum.SUP_NAME.getLabel(), "$" + CoverageWarningFieldEnum.SUP_NAME.getLabel()),
                        eq(CoverageWarningFieldEnum.MLF07_GRPFOU.getLabel(), "$" + CoverageWarningFieldEnum.MLF07_GRPFOU.getLabel())
                ),
                sum("sum_w_ord_unit_ord_min_coverage", "$" + CoverageWarningFieldEnum.W_ORD_UNIT_ORD_MIN_COVERAGE.getLabel()),
                // 修正原代码的$*笔误，改为$
                sum("sum_w_excess_delivery", "$" + CoverageWarningFieldEnum.W_EXCESS_DELIVERY.getLabel()),
                sum("sum_w_inventory", "$" + CoverageWarningFieldEnum.W_INVENTORY.getLabel()),
                sum("sum_w_service_blocking", "$" + CoverageWarningFieldEnum.W_SERVICE_BLOCKING_2.getLabel()),
                // 修正原代码的$w笔误，改为$
                sum("sum_w_service_blocking_4", "$" + CoverageWarningFieldEnum.W_SERVICE_BLOCKING_4.getLabel()),
                sum("sum_w_coverage_change", "$" + CoverageWarningFieldEnum.W_COVERAGE_CHANGE.getLabel()),
                sum("sum_w_pa_supervision", "$" + CoverageWarningFieldEnum.W_PA_SUPERVISION.getLabel()),
                sum("sum_val_pn_stock_total_euro", "$" + CoverageWarningFieldEnum.VAL_PN_STOCK_TOTAL_EURO.getLabel()),
                sum("sum_val_pn_average_sale_12month_euro", "$" + CoverageWarningFieldEnum.VAL_PN_AVERAGE_SALE_12MONTH_EURO.getLabel()),
                sum("sum_score", "$" + CoverageWarningFieldEnum.SCORE.getLabel())
        ),
        Aggregates.sort(Sorts.orderBy(Sorts.descending(CoverageWarningFieldEnum.SCORE.getLabel())))
);

// 执行聚合，设置批次大小和磁盘使用
AggregateIterable<Document> resultMongo = collection.aggregate(pipeline)
        .allowDiskUse(true)
        .batchSize(10000); // 根据你的数据量调整，比如10000条一批

// 收集所有结果
List<Document> allResults = new ArrayList<>();
resultMongo.forEach(allResults::add);
System.out.println("总结果数：" + allResults.size());

3. 验证聚合管道本身的结果数量 #

如果上面的方法还是只返回500条，那可能是你的$group阶段之后本来就只有500条唯一的分组结果。建议先在MongoDB Shell或者Compass里运行对应的聚合语句，确认实际的结果数量：

// 对应你的Java代码的MongoDB Shell版本
db.yourCollectionName.aggregate([
    { $match: {/* 这里放你的查询条件 */} },
    { $group: {
        _id: {
            DT_EXTRACT: "$DT_EXTRACT",
            ID_SUP_NUMBER: "$ID_SUP_NUMBER",
            CODE_SUPPLIER_DLPA_SITE: "$CODE_SUPPLIER_DLPA_SITE",
            SUP_NAME: "$SUP_NAME",
            MLF07_GRPFOU: "$MLF07_GRPFOU"
        },
        sum_w_ord_unit_ord_min_coverage: { $sum: "$W_ORD_UNIT_ORD_MIN_COVERAGE" },
        sum_w_excess_delivery: { $sum: "$W_EXCESS_DELIVERY" },
        // 其他sum字段同理
        sum_score: { $sum: "$SCORE" }
    }},
    { $sort: { sum_score: -1 } }
]).count()

如果Shell里返回的数量就是500，那说明你的数据分组后确实只有这么多结果，不是代码的问题。

内容的提问来源于stack exchange，提问作者YasBES