C#结合MongoDB实现含DbRef的批量插入方案咨询

我正在使用C# .NET和MongoDB开发，定义了如下C#类：

public class X {
    public string Name { get; set; }
    public string InnerBuffer { get; set; }
}

其中InnerBuffer是JSON字符串。MongoDB中有两个集合：XObjects和InnerObjects，对应MongoDB的XObject结构如下（注：原代码中Namw为拼写笔误，修正为Name）：

public class XObject{
    public string Name { get; set; }
    public MongoDBRef InnerBufferRef { get; set; }
}

我的需求是：将InnerBuffer的JSON内容作为文档插入InnerObjects集合，再创建包含原X对象的Name和对应InnerBuffer文档DbRef的XObject，插入到XObjects集合。单条插入的逻辑已经实现且运行正常：

X _x = new X() { Name="xxx", InnerBuffer="<a json string>" };

// 插入InnerBuffer
var collection = _db.GetCollection<BsonDocument>("InnerObjects");
BsonDocument innerBufferDoc = BsonDocument.Parse(_x.InnerBuffer);
collection.InsertOne(innerBufferDoc);

// 创建XObject
XObject _xObject = new XObject(){ Name=_x.Name, InnerBufferRef=new MongoDBRef("InnerObjects", innerBufferDoc["_id"].AsObjectId) };

// 插入XObject
var xObjectsCollection = _db.GetCollection<XObject>("XObjects");
xObjectsCollection.InsertOne(_xObject);

现在想知道如何通过批量插入（BulkInsert/InsertMany）实现该操作，以及最高效的实现方式是什么？

方案一：先批量插入InnerObjects，再批量插入XObjects #

这是单条逻辑的批量扩展，步骤清晰直观：

1. 准备好待处理的X对象列表。
2. 批量解析所有InnerBuffer为BsonDocument，插入到InnerObjects集合。
3. 遍历插入后的文档，批量构造对应的XObject。
4. 批量插入XObject到XObjects集合。

代码示例：

List<X> xList = GetYourXList(); // 替换为你的X对象数据源
var innerCollection = _db.GetCollection<BsonDocument>("InnerObjects");
var xObjectCollection = _db.GetCollection<XObject>("XObjects");

// 解析所有InnerBuffer为BsonDocument
List<BsonDocument> innerDocs = xList.Select(x => BsonDocument.Parse(x.InnerBuffer)).ToList();

// 批量插入InnerObjects
innerCollection.InsertMany(innerDocs);

// 构造XObject列表
List<XObject> xObjects = new List<XObject>();
for (int i = 0; i < xList.Count; i++)
{
    xObjects.Add(new XObject
    {
        Name = xList[i].Name,
        InnerBufferRef = new MongoDBRef("InnerObjects", innerDocs[i]["_id"].AsObjectId)
    });
}

// 批量插入XObjects
xObjectCollection.InsertMany(xObjects);

该方案适合小批量数据，逻辑简单易维护，但需要两次数据库往返请求。

方案二：提前生成ObjectId，单批次完成核心操作（最高效） #

MongoDB的ObjectId支持客户端提前生成，无需依赖数据库插入后返回ID。利用这一特性，我们可以提前为每个InnerBuffer生成ID，同时构造好两个集合的插入文档，最后批量提交，彻底避免插入后查询ID的开销。

代码示例：

List<X> xList = GetYourXList();
var innerCollection = _db.GetCollection<BsonDocument>("InnerObjects");
var xObjectCollection = _db.GetCollection<XObject>("XObjects");

List<WriteModel<BsonDocument>> innerWriteModels = new List<WriteModel<BsonDocument>>();
List<XObject> xObjects = new List<XObject>();

foreach (var x in xList)
{
    // 客户端提前生成ObjectId
    ObjectId innerId = ObjectId.GenerateNewId();
    
    // 构造InnerObjects插入文档，指定预生成的_id
    BsonDocument innerDoc = BsonDocument.Parse(x.InnerBuffer);
    innerDoc["_id"] = innerId;
    innerWriteModels.Add(new InsertOneModel<BsonDocument>(innerDoc));
    
    // 直接用预生成ID构造XObject的DbRef
    xObjects.Add(new XObject
    {
        Name = x.Name,
        InnerBufferRef = new MongoDBRef("InnerObjects", innerId)
    });
}

// 批量插入InnerObjects
innerCollection.BulkWrite(innerWriteModels);

// 批量插入XObjects
xObjectCollection.InsertMany(xObjects);

该方案仅需两次数据库请求，且避免了插入后等待ID返回的环节，是大批量数据场景下的最优选择。

额外优化建议 #

• 对于超大规模数据（十万级以上），建议分块处理，避免一次性加载过多数据到内存，同时防止单次批量操作过大导致性能下降。
• 利用异步API（InsertManyAsync、BulkWriteAsync），配合Task.WhenAll并行执行两个批量插入操作（需确保数据库连接池资源充足），进一步提升处理速度。

内容的提问来源于stack exchange，提问作者mich