使用MongoEngine批量更新文档的最优方案及批量API利用方法

一、逐个更新的方式是否正确？ #

原代码存在两处关键问题，是不正确的：

1. 语法错误：Person.objects(Q(nationality='Japanese'))).all()多了一个冗余的右括号，会直接触发语法报错。
2. 更新方式错误：Person.objects.insert()是用于插入新文档的方法，而非更新已有文档。执行这行代码会尝试将已存在的Person文档重新插入，大概率会触发主键重复的错误，无法实现更新earning字段的目的。
   此外，逐个调用EarningAPI的方式效率极低，当目标人员数量较多时，会产生大量API请求，不仅耗时久，还会推高调用成本。

二、利用批量特性的优化方案 #

结合EarningAPI的批量能力，我们可以通过以下步骤实现高效批量更新：

步骤1：批量获取目标人员的核心数据 #

先查询出所有日本籍人员的_id和name，避免加载整个文档对象，减少内存占用：

japanese_people = Person.objects(nationality='Japanese').only('_id', 'name')
# 提取姓名列表和对应的文档ID映射
name_list = [p.name for p in japanese_people]
id_name_map = {p._id: p.name for p in japanese_people}

步骤2：批量调用EarningAPI获取收益数据 #

一次性传入所有姓名，批量获取对应的earning列表（假设API返回的列表顺序与传入的name_list顺序一致）：

# 批量调用API，获取对应收益列表
earning_list = EarningAPI(name_list)
# 构建姓名到收益的映射
name_earning_map = dict(zip(name_list, earning_list))

步骤3：批量更新文档 #

使用mongoengine的bulk_update方法，批量更新每个文档的earning字段：

update_list = []
for person in japanese_people:
    person.earning.append(name_earning_map[person.name])
    update_list.append(person)

# 执行批量更新，指定更新的字段为earning
Person.objects.bulk_update(update_list, fields=['earning'])

更高效的数据库批量更新（可选） #

如果数据量极大，还可以直接使用MongoDB的原生批量更新语法，避免在内存中加载所有文档对象：

from bson.objectid import ObjectId

update_operations = []
for person_id, name in id_name_map.items():
    earning = name_earning_map[name]
    update_operations.append(
        {
            'update_one': {
                'filter': {'_id': ObjectId(person_id)},
                'update': {'$push': {'earning': earning}}
            }
        }
    )

# 执行原生批量更新
Person._get_collection().bulk_write(update_operations)

这种方式直接操作数据库底层，内存占用更低，更新效率更高。

内容的提问来源于stack exchange，提问作者oettam_oisolliv