Go语言使用MongoDB BulkWrite批量写入为何重复写入最后一条1000次?
错误定位与修复方法
问题所在
核心错误是循环外仅初始化一次插入模型的代码行:operationA := mongo.NewInsertOneModel()
出现全量重复最后一条数据的原理
mongo.InsertOneModel是指针类型的结构体,你在循环外部只创建了一次该类对象的实例- 循环内反复调用
operationA.SetDocument(transaction[k]),本质都是修改同一块内存中的对象属性 - 每次执行
append(operations, operationA)时,存入切片的是同一个对象的引用,1000次循环结束后,切片内的所有元素都指向同一块内存地址 - 循环走完时,这块内存里的文档内容已经被覆盖成最后一条待写入的数据,最终批量写入时自然会把同一个文档重复提交1000次
修正后的代码逻辑
需要把插入模型的初始化挪到循环内部,每遍历一条待写入数据就生成一个全新的独立模型实例:
mongoSession, ctx := config.ConnectDb("myFirstDatabase") defer mongoSession.Disconnect(ctx) var operations []mongo.WriteModel getCollection := mongoSession.Database("myFirstDatabase").Collection("transactions") for k, v := range transaction { // 每次循环独立创建插入模型,避免复用同一内存引用 operationA := mongo.NewInsertOneModel() operationA.SetDocument(transaction[k]) operations = append(operations, operationA) fmt.Println(operationA) } bulkOption := options.BulkWriteOptions{} // bulkOption.SetOrdered(true) _, err = getCollection.BulkWrite(ctx, operations, &bulkOption)
补充说明:这类问题是Go操作MongoDB批量写入时的高频踩坑点,只要切片内存储的是指针类型元素,就必须保证每个元素对应独立的内存实例,不能通过反复修改同一个对象的属性来追加列表元素。
内容的提问来源于stack exchange,提问作者Puneet Jindal
相关产品推荐
相关产品推荐

