MongoDB $lookup关联查询性能低下的优化方案咨询

嘿，针对你遇到的大集合下$lookup查询慢的问题，我给你整理几个实用的优化方向，每个都结合C#代码示例，帮你把查询速度提上来：

1. 给关联字段加索引（最关键！） #

$lookup本质是关联查询，如果Product.Maincode和Variant.Maincode没有索引，MongoDB会做全表扫描，数据量大的时候肯定慢到离谱。赶紧给这两个字段建索引：

// 给Product集合的Maincode字段建单字段索引
await db.GetCollection<Product>("Product").Indexes.CreateOneAsync(
    new CreateIndexModel<Product>(Builders<Product>.IndexKeys.Ascending(p => p.Maincode)));

// 给Variant集合的Maincode字段建单字段索引
await db.GetCollection<Variant>("Variant").Indexes.CreateOneAsync(
    new CreateIndexModel<Variant>(Builders<Variant>.IndexKeys.Ascending(v => v.Maincode)));

索引建好后，MongoDB能快速定位关联数据，这是最立竿见影的优化。

2. 投影只返回需要的字段 #

你现在把整个Product文档和所有关联的Variant数据都加载回来了，很多字段可能根本用不上。通过投影只保留需要的字段，能大幅减少数据传输和内存占用：

var lookup1 = new BsonDocument("$lookup", new BsonDocument { 
    { "from", "Variant" }, 
    { "localField", "Maincode" }, 
    { "foreignField", "Maincode" }, 
    { "as", "variants" } 
});

// 只返回需要的字段，比如Maincode、ProductName和关联的variants
var projection = new BsonDocument("$project", new BsonDocument {
    { "_id", 1 },
    { "Maincode", 1 },
    { "ProductName", 1 },
    { "variants", new BsonDocument("$project", new BsonDocument {
        { "_id", 0 },
        { "Price", 1 },
        { "Size", 1 }
    })}
});

var pipeline = new[] { lookup1, projection };
var result = await product.Aggregate<ProductProjection>(pipeline).ToListAsync();

// 记得定义对应的投影类
public class ProductProjection
{
    public ObjectId Id { get; set; }
    public string Maincode { get; set; }
    public string ProductName { get; set; }
    public List<VariantProjection> variants { get; set; }
}

public class VariantProjection
{
    public decimal Price { get; set; }
    public string Size { get; set; }
}

3. 分页加载，避免一次性拉取全量数据 #

如果业务上不需要一次性获取所有产品，一定要分页！用Skip和Take控制每次返回的数量，能把查询时间降到毫秒级：

int pageSize = 100;
int pageNumber = 1;

var result = await product.Aggregate<Product>(pipeline)
    .Skip((pageNumber - 1) * pageSize)
    .Take(pageSize)
    .ToListAsync();

4. 使用带过滤管道的$lookup（减少关联数据量） #

如果只需要关联Variant中符合特定条件的数据（比如只查在售的变体），或者只需要变体的部分字段，用带内部管道的$lookup能提前过滤数据，减少返回的variants数组大小：

var lookupWithPipeline = new BsonDocument("$lookup", new BsonDocument
{
    { "from", "Variant" },
    { "let", new BsonDocument { { "mainCode", "$Maincode" } } },
    { "pipeline", new BsonArray
        {
            new BsonDocument("$match", new BsonDocument("$expr", new BsonDocument("$eq", new BsonArray { "$Maincode", "$$mainCode" }))),
            new BsonDocument("$match", new BsonDocument("IsActive", true)), // 只查激活的变体
            new BsonDocument("$project", new BsonDocument { { "Price", 1 }, { "Size", 1 } }) // 只返回需要的字段
        }
    },
    { "as", "variants" }
});

var pipeline = new[] { lookupWithPipeline };
var result = await product.Aggregate<Product>(pipeline).ToListAsync();

5. 用异步迭代代替ToListAsync()（减少内存压力） #

如果数据量实在太大，即使分页也有很多页，可以用异步迭代器逐行处理，避免一次性把所有数据加载到内存：

using var cursor = await product.Aggregate<Product>(pipeline).ToCursorAsync();
await foreach (var product in cursor.ToAsyncEnumerable())
{
    // 逐行处理product数据
    ProcessProduct(product);
}

6. 检查并升级MongoDB版本 #

如果你用的是比较老的MongoDB版本（比如3.4及以下），建议升级到4.0+，新版本对$lookup的性能有不少优化，尤其是管道式lookup的执行效率提升明显。

内容的提问来源于stack exchange，提问作者Mustafa Yasin Çelik