MongoDB批量Upsert缺失userId字段的Go语言解决方案咨询

你的问题核心在于：使用UpdateMany配合$in筛选条件时，MongoDB执行upsert无法自动从$in数组中提取对应的userId来填充新文档——因为$in是一个多值筛选条件，MongoDB不知道该选哪个值作为新文档的userId字段，所以只会创建包含refs的文档。

要解决这个问题，不能用UpdateMany，而是要改用BulkWrite来批量处理每个userId的单独更新/插入操作，这样每个不存在的userId都会被正确插入带userId字段的文档，同时也能处理200万级别的数据量（只要做合理的分批次处理）。

具体实现步骤 #

1. 构造批量操作列表 #

遍历你的tokens数组，为每个userId创建一个UpdateOneModel操作：

• 每个操作的筛选条件是单个userId（而非$in数组）
• 更新逻辑依然用$addToSet添加新的ref
• 为每个操作开启upsert:true

2. 分批次执行批量操作 #

因为200万条数据一次性构造所有操作会占用大量内存，建议分批次处理（比如每次处理1000条），避免内存溢出和MongoDB的请求大小限制。

Go代码示例 #

import (
    "context"
    "time"
    "go.mongodb.org/mongo-driver/bson"
    "go.mongodb.org/mongo-driver/mongo"
    "go.mongodb.org/mongo-driver/mongo/options"
    "go.mongodb.org/mongo-driver/mongo/writeconcern"
)

func batchUpsertRefs(driver *mongo.Collection, tokens []string, newReference string) error {
    ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
    defer cancel()

    // 分批次大小，可根据内存和MongoDB配置调整
    batchSize := 1000
    total := len(tokens)

    for i := 0; i < total; i += batchSize {
        end := i + batchSize
        if end > total {
            end = total
        }
        batchTokens := tokens[i:end]

        // 构造当前批次的批量操作
        var ops []mongo.WriteModel
        for _, token := range batchTokens {
            filter := bson.M{"userId": token}
            update := bson.M{"$addToSet": bson.M{"refs": newReference}}

            updateOneModel := mongo.NewUpdateOneModel()
            updateOneModel.SetFilter(filter)
            updateOneModel.SetUpdate(update)
            updateOneModel.SetUpsert(true)

            ops = append(ops, updateOneModel)
        }

        // 执行批量操作
        bulkOpts := options.BulkWrite().SetOrdered(false) // 无序执行，提高效率
        wc := writeconcern.New(writeconcern.WMajority())
        bulkOpts.SetWriteConcern(wc)

        _, err := driver.BulkWrite(ctx, ops, bulkOpts)
        if err != nil {
            return err
        }
    }

    return nil
}

关键说明 #

• 为什么用BulkWrite？ 每个UpdateOneModel都是针对单个userId的操作，upsert时MongoDB明确知道要将该userId作为新文档的字段，不会缺失。
• 无序执行（SetOrdered(false)）：可以让MongoDB并行处理批次内的操作，大幅提升性能，适合无依赖的批量操作场景。
• 分批次处理：避免一次性构造200万个操作对象导致内存爆炸，同时符合MongoDB对单个请求大小的限制。

这个方案既解决了upsert时缺失userId的问题，又能高效处理百万级别的数据量，不需要逐个处理每个用户。

内容的提问来源于stack exchange，提问作者Cililing