如何高效排除Django QuerySet中已分配的对象？

针对你的场景，使用反向关联的isnull筛选是最优的Django ORM方案，比当前的id__in方法更高效，代码也更简洁。

最优方案实现 #

利用CartObject和OnGoingProcess的一对一反向关联字段associated_process（来自related_name），直接筛选状态为pending且未被关联的对象：

@user_passes_test(lambda user: user.is_staff)
def process_manager_view(request):
    available_objects = CartObject.objects.filter(
        status="pending",
        associated_process__isnull=True
    ).order_by("-id")
    context = {"available_objects": available_objects}
    return render(request, "useradmin/available-objects.html", context)

方案优势 #

• 仅生成单条SQL查询，避免了原方案中两次查询的额外开销；
• 数据库层面通过关联条件直接过滤，配合索引能实现高效查询；
• 代码简洁直观，完全利用Django ORM的关联特性，可读性强。

各方案对比分析 #

当前id__in方案的问题 #

原方法会先执行一次查询获取所有已分配对象的ID列表，再执行第二次查询排除这些ID。当OnGoingProcess数据量较大时，ID列表会非常庞大，导致SQL语句臃肿，不仅增加数据库解析成本，还可能超出SQL查询的参数限制，同时会把大量ID加载到应用层内存，占用资源。

Subquery方案 #

一对一场景下完全没必要使用子查询，硬实现的代码如下：

from django.db.models import Subquery

@user_passes_test(lambda user: user.is_staff)
def process_manager_view(request):
    assigned_subquery = Subquery(OnGoingProcess.objects.values('associated_object'))
    available_objects = CartObject.objects.filter(
        status="pending",
        id__notin=assigned_subquery
    ).order_by("-id")
    context = {"available_objects": available_objects}
    return render(request, "useradmin/available-objects.html", context)

该方案仅生成单条SQL，但逻辑上不如isnull直观，性能也没有优势，属于冗余实现。

原生SQL方案 #

仅当数据量达到百万级以上，且ORM生成的SQL存在明确性能瓶颈时才考虑使用，示例代码：

@user_passes_test(lambda user: user.is_staff)
def process_manager_view(request):
    available_objects = CartObject.objects.raw("""
        SELECT co.*
        FROM yourapp_cartobject co
        WHERE co.status = 'pending'
        AND NOT EXISTS (
            SELECT 1 FROM yourapp_ongoingprocess ogp
            WHERE ogp.associated_object_id = co.id
        )
        ORDER BY co.id DESC
    """)
    context = {"available_objects": available_objects}
    return render(request, "useradmin/available-objects.html", context)

缺点是可读性差，耦合数据库语法，迁移成本高，失去ORM的类型安全保障，一般不推荐。

大数据集下的性能考量 #

1. 索引优化
   必须为以下字段添加数据库索引，避免全表扫描：

   class CartObject(models.Model):
       object_id = models.CharField(max_length=100, unique=True)
       # 为status添加索引
       status = models.CharField(max_length=50, choices=[("pending", "Pending")], db_index=True)
       # 其他字段...
   
   class OnGoingProcess(models.Model):
       user = models.OneToOneField(DeliveryProfile, on_delete=models.CASCADE, related_name="ongoing_process")
       # 为关联外键添加索引
       associated_object = models.OneToOneField(CartObject, on_delete=models.CASCADE, related_name="associated_process", blank=True, null=True, db_index=True)
       # 其他字段...
   

2. 避免内存溢出
   原方案的values_list会将所有已分配ID加载到内存，大数据场景下会占用大量资源；而isnull和Subquery方案不会在应用层存储中间数据，压力由数据库承担，更适合大规模数据。

3. 分页处理
   如果筛选结果数据量较大，一定要使用Django的Paginator进行分页，避免一次性加载所有对象到内存：

   from django.core.paginator import Paginator
   
   @user_passes_test(lambda user: user.is_staff)
   def process_manager_view(request):
       object_list = CartObject.objects.filter(
           status="pending",
           associated_process__isnull=True
       ).order_by("-id")
       paginator = Paginator(object_list, 20)  # 每页20条
       page_number = request.GET.get('page')
       available_objects = paginator.get_page(page_number)
       context = {"available_objects": available_objects}
       return render(request, "useradmin/available-objects.html", context)
   

内容的提问来源于stack exchange，提问作者Google User