如何在C#中优化跨多集合的MongoDB插入操作？

你的核心问题在于无限制并发发起插入请求，直接耗尽了MongoDB连接池资源，导致请求排队超时、队列溢出。单纯调大连接池容量只是延缓问题，无法从根本上控制并发压力。以下是针对性的优化方案：

1. 限制并发插入任务数 #

你当前用Task.WhenAll一次性启动所有插入任务，相当于同时发起数十甚至上百个请求，远超连接池承载上限。必须用信号量控制同时执行的任务数量，建议设置为连接池最大容量的1/2到2/3，避免连接池被打满。

修改你的批量写入方法：

// 类级别声明信号量，根据连接池大小调整（比如连接池最大100，设为50）
private readonly SemaphoreSlim _concurrencySemaphore = new SemaphoreSlim(50, 100);

public async Task WriteAsync(Dictionary<string, List<TTick>> groupedTicks)
{
    var writeOperations = from groupedTick in groupedTicks
        let collectionName = groupedTick.Key + "_ticks"
        let collection = GetCollection(collectionName)
        let documents = groupedTick.Value.Select(x => x.ToBsonDocument()).ToList()
        select new WriteOperation(collection, documents);

    // 用信号量管控并发
    var tasks = writeOperations.Select(async op =>
    {
        await _concurrencySemaphore.WaitAsync().ConfigureAwait(false);
        try
        {
            await op.WriteAsync(_insertingOptions).ConfigureAwait(false);
        }
        finally
        {
            _concurrencySemaphore.Release();
        }
    }).ToArray();

    await Task.WhenAll(tasks).ConfigureAwait(false);
}

2. 优化MongoDB连接池配置 #

除了MaxConnectionPoolSize，还需调整以下参数平衡性能与稳定性：

• WaitQueueTimeout：把默认5秒改短（比如1秒），避免请求长时间排队，快速失败后可根据业务需求重试
• MaxConnectionPoolSize：不要设置过大（建议不超过200），MongoDB服务器自身连接数有限，过大反而增加服务器负载
• MinConnectionPoolSize：设置合理最小值（比如10），保留一定空闲连接，减少连接建立开销

修改MongoClient初始化代码：

var settings = MongoClientSettings.FromConnectionString("你的连接字符串");
settings.MaxConnectionPoolSize = 100;
settings.WaitQueueTimeout = TimeSpan.FromSeconds(1);
settings.MinConnectionPoolSize = 10;
settings.SocketTimeout = TimeSpan.FromSeconds(5); // 单个请求的超时时间
var client = new MongoClient(settings);

3. 拆分超大批量插入 #

如果单批次插入的数据量过大（比如上万条），会占用连接资源很久，导致连接池无法及时释放资源。建议拆分小批量（比如每1000条一批）分多次插入。

修改WriteOperation的写入方法：

public async Task WriteAsync(InsertManyOptions options)
{
    const int batchSize = 1000;
    var documentList = Documents.ToList();
    for (int i = 0; i < documentList.Count; i += batchSize)
    {
        var batch = documentList.Skip(i).Take(batchSize);
        await Collection.InsertManyAsync(batch, options).ConfigureAwait(false);
    }
}

4. 调整写入关注级别（可选） #

如果业务允许一定的数据延迟或不需要强一致性，可以降低WriteConcern级别，减少MongoDB的确认开销，提升写入速度：

• WriteConcern.W1：仅需主节点确认（默认是WMajority，需多数节点确认）
• WriteConcern.Unacknowledged：不等待服务器确认（最快但存在数据丢失风险）

修改插入配置：

var _insertingOptions = new InsertManyOptions
{
    WriteConcern = WriteConcern.W1 // 根据业务场景选择合适级别
};

以上方案需要结合你的业务场景和MongoDB服务器配置做压测调整，找到性能与稳定性的最优平衡点。

内容的提问来源于stack exchange，提问作者Halil