MongoDB无需for循环批量更新food集合original_recipe字段方案咨询

你可以选择以下两种方案之一，都可以大幅提升更新效率，不需要修改现有数据结构：

方案1：MongoDB服务端聚合更新（推荐，要求MongoDB版本≥4.2） #

该方案所有逻辑都在数据库端执行，没有应用层与数据库的网络往返开销，执行效率最高：

db.foods.update_many(
    {}, # 匹配所有food文档
    [
        {
            "$lookup": {
                "from": "recipes",
                "localField": "_id",
                "foreignField": "food",
                "pipeline": [{"$match": {"original": True}}],
                "as": "original_recipe_temp"
            }
        },
        {
            "$set": {
                "original_recipe": {"$arrayElemAt": ["$original_recipe_temp._id", 0]}
            }
        },
        {
            "$unset": "original_recipe_temp" # 清理临时关联字段
        }
    ]
)

方案2：批量查询+批量写入（兼容低版本MongoDB） #

如果你的MongoDB版本低于4.2，不支持更新操作使用聚合管道，可以用该方案，仅需1次全量查询+1次批量更新，远快于逐次遍历：

from pymongo import UpdateOne

# 一次性查询所有标记为original的recipe，仅返回关联food_id和自身id，减少数据传输
original_recipe_list = db.recipes.find(
    {"original": True},
    {"food": 1, "_id": 1}
)

update_operations = []
for recipe in original_recipe_list:
    update_operations.append(
        UpdateOne(
            {"_id": recipe["food"]},
            {"$set": {"original_recipe": recipe["_id"]}}
        )
    )

# 批量执行所有更新操作
if update_operations:
    # ordered=False表示并行执行无依赖的更新，速度更快，出错不影响其他操作执行
    db.foods.bulk_write(update_operations, ordered=False)

优化提示 #

• 提前给recipes集合创建{"food": 1, "original": 1}的复合索引，可大幅加快查询速度，避免全表扫描。
• 数据量特别大时，可以对original_recipe_list做分批处理，每1000~5000条操作执行一次bulk_write，避免单次请求数据量过大。

内容的提问来源于stack exchange，提问作者theMan