MongoDB聚合查询优化：解决多次CountDocuments及返回空问题

原需求是统计多个过滤条件各自匹配的用户总数，原实现通过循环调用coll.CountDocuments逐个获取每个条件的计数。尝试改为单次聚合查询优化性能，但编写的聚合管道执行后游标和结果均为空，无法得到正确计数。

原调用代码 #

{
 filters =  []bson.D{
        {{Key: "Mykey", Value: myvalue}},
        {{Key: "Mykey", Value: myvalue}},
        {{Key: "Mykey", Value: myvalue}},
        {{Key: "Mykey", Value: myvalue}},
 }
 counts, err := dbmain.NoOfDocumentsInfo(MyDBName, myCollectionName, filters...)
}

原循环计数实现 #

func NoOfDocumentsInfo(DB string, col string, filters ...bson.D) ([]int64, error) {
if nil == dbInstance {
  if nil == GetDBInstance() {
    logger.Error("Not connecting to DB")
    err := errors.New("DB connection error")
    return nil, err
  }
}

logger.Debugf("%s %s", DB, col)

coll := dbInstance.Database(DB).Collection(col)

counts := make([]int64, len(filters))
for i, filter := range filters {
  count, err := coll.CountDocuments(context.TODO(), filter)
  if err != nil {
    logger.Fatal(err)
    return nil, err
  }

  counts[i] = count
}

return counts, nil
}

尝试的错误聚合实现 #

func NoOfDocumentsInfo(DB string, col string, filters ...bson.D) ([]int64, error) {
if dbInstance == nil {
  if GetDBInstance() == nil {
    logger.Error("Not connecting to DB")
    err := errors.New("DB connection error")
    return nil, err
  }
}

logger.Debugf("%s %s", DB, col)

coll := dbInstance.Database(DB).Collection(col)

pipeline := make([]bson.M, 0, len(filters)+2)
pipeline = append(pipeline, bson.M{"$match": bson.M{"$or": filters}})
pipeline = append(pipeline, bson.M{"$group": bson.M{"_id": nil, "count": bson.M{"$sum": 1}}})
pipeline = append(pipeline, bson.M{"$group": bson.M{"_id": nil, "count": bson.M{"$first": "$count"}}})

var result struct {
  Count int64 `bson:"count"`
}

cur, err := coll.Aggregate(context.TODO(), pipeline)
if err != nil {
  logger.Fatal(err)
  return nil, err
}

logger.Debugf("cur: %+v", cur)
err = cur.Decode(&result)
logger.Debugf("result: %+v, err: %v", result, err)
if err != nil {
logger.Fatal(err)
return nil, err
}

return []int64{result.Count}, nil
}

1. 逻辑偏离需求：使用$or会将所有符合任意一个过滤条件的文档合并统计，得到的是总计数，而非每个条件单独的计数，完全不符合原需求。
2. 冗余聚合阶段：第二个$group阶段毫无意义，反而可能干扰结果结构；同时原管道没有处理多条件单独计数的逻辑，导致无法输出每个条件的结果。
3. 结果解码问题：游标解码时未正确处理聚合结果的结构，且如果没有匹配的文档，直接解码会返回错误或空值。

使用MongoDB的$facet阶段，该阶段允许在单次聚合中并行执行多个子管道，每个子管道对应一个过滤条件的计数统计，完美匹配原需求的多条件单独计数。

修正后的代码 #

import "fmt"

func NoOfDocumentsInfo(DB string, col string, filters ...bson.D) ([]int64, error) {
    if dbInstance == nil {
        if GetDBInstance() == nil {
            logger.Error("Not connecting to DB")
            return nil, errors.New("DB connection error")
        }
    }

    logger.Debugf("%s %s", DB, col)
    coll := dbInstance.Database(DB).Collection(col)

    // 构建$facet的子管道，每个过滤条件对应一个计数子管道
    facetStages := bson.M{}
    for i := range filters {
        stageName := fmt.Sprintf("filter_%d", i)
        facetStages[stageName] = []bson.M{
            {"$match": filters[i]},
            {"$count": "total"},
        }
    }

    pipeline := []bson.M{
        {"$facet": facetStages},
    }

    var result map[string][]struct {
        Total int64 `bson:"total"`
    }

    cur, err := coll.Aggregate(context.TODO(), pipeline)
    if err != nil {
        logger.Fatal(err)
        return nil, err
    }
    defer cur.Close() // 确保游标资源释放

    // 检查游标是否有结果
    if !cur.Next(context.TODO()) {
        if err := cur.Err(); err != nil {
            logger.Fatal(err)
            return nil, err
        }
        // 无匹配结果时返回全0切片
        counts := make([]int64, len(filters))
        return counts, nil
    }

    // 解码聚合结果
    if err := cur.Decode(&result); err != nil {
        logger.Fatal(err)
        return nil, err
    }

    // 整理结果为原函数要求的[]int64格式
    counts := make([]int64, len(filters))
    for i := range filters {
        stageName := fmt.Sprintf("filter_%d", i)
        if len(result[stageName]) > 0 {
            counts[i] = result[stageName][0].Total
        } else {
            counts[i] = 0
        }
    }

    return counts, nil
}

代码说明 #

1. $facet阶段构建：为每个过滤条件创建独立子管道，包含$match（匹配条件）和$count（统计数量），用唯一名称标识每个子管道。
2. 结果处理：将聚合结果解码为map，遍历map提取每个条件的计数，无匹配结果时填充0，保证返回格式与原函数一致。
3. 游标安全处理：添加defer cur.Close()释放资源，检查游标是否有结果，避免空指针或解码错误。

内容的提问来源于stack exchange，提问作者Joytiprokash Roy