Django数据库访问优化：高效创建已有对象间的多对多关系

这个问题我之前处理过，批量处理上千条多对多关系时，循环调用get和set确实会产生大量数据库查询，效率极低。下面是基于Django内置工具的最优解决方案，只需要几次查询+一次批量插入就能完成所有关联：

核心思路 #

直接操作多对多关系的中间表，通过bulk_create批量插入关联数据，避免循环中重复查询和多次插入操作。

具体步骤 #

1. 批量获取所有需要关联的对象 #

先一次性查询出所有涉及的Gene和Annotation对象，转成字典方便快速查找（只需要2次数据库查询）：

# 从你的relationships字典中提取所有涉及的gene id和annotation id
all_gene_ids = list(relationships.keys())
all_anno_ids = [anno_id for anno_list in relationships.values() for anno_id in anno_list]

# 批量查询并构建映射字典，实现O(1)时间查找
gene_map = {gene.identifier: gene for gene in Gene.objects.filter(identifier__in=all_gene_ids)}
anno_map = {anno.name: anno for anno in Annotation.objects.filter(name__in=all_anno_ids)}

2. 构建中间表对象并批量插入 #

Django会自动为多对多关系生成中间表，我们可以通过Gene.annotation.through获取这个中间表的模型，然后批量创建关联条目：

# 获取多对多中间表的模型类
GeneAnnotationThrough = Gene.annotation.through

# 构建要插入的关联列表
through_objects = []
for gene_id, anno_ids in relationships.items():
    # 快速获取对应的Gene对象
    gene = gene_map.get(gene_id)
    if not gene:
        continue  # 跳过不存在的Gene（如果有的话）
    for anno_id in anno_ids:
        # 快速获取对应的Annotation对象
        anno = anno_map.get(anno_id)
        if not anno:
            continue  # 跳过不存在的Annotation（如果有的话）
        # 添加中间表对象
        through_objects.append(
            GeneAnnotationThrough(
                gene_id=gene.identifier,  # 对应Gene模型的主键字段值
                annotation_id=anno.name   # 对应Annotation模型的主键字段值
            )
        )

# 批量插入所有关联，仅触发1次数据库插入操作
GeneAnnotationThrough.objects.bulk_create(through_objects)

为什么这个方案高效？ #

• 查询次数极少：仅2次查询就能获取所有需要的对象，替代了原来循环中N+M次的get查询（N是Gene数量，M是总Annotation数量）
• 插入操作批量完成：一次bulk_create完成所有关联插入，替代了原来每个gene.annotation_set.set()触发的多次插入/删除操作
• 避免不必要的操作：跳过了set方法中默认的旧关系清除逻辑（如果你的场景需要清除旧关系，可以先批量删除旧关系再执行插入）

注意事项 #

• 确保所有Gene和Annotation对象已经通过bulk_create创建完成（你已经完成这一步，无需额外处理）
• bulk_create不会触发Django的信号（比如post_save），如果你的业务依赖这些信号，需要额外处理，但批量场景下通常优先考虑效率
• 中间表的字段名要和实际数据库一致：你的中间表是myapp_gene_annotation，字段是gene_id和annotation_id，和代码中的参数完全对应，无需调整

内容的提问来源于stack exchange，提问作者MrTomRod