如何使用Django ORM高效迭代大量外键关联对象？

模型定义 #

class User(AbstractUser):
    ...
    seller = models.ForeignKey(Seller, related_name="user", on_delete=models.SET_NULL, null=True)
    ...

尝试方案1：使用only('seller__email') #

执行代码：

from app.models import User
from django_print_sql import print_sql

with print_sql(count_only=False):
  users = User.objects.filter(is_active=True, seller_id__isnull=False).select_related().only('seller__email')
  for u in users.iterator():
    email = u.seller.email
    send_email(email)

生成的SQL查询：

SELECT `user`.`id`,
       `user`.`seller_id`
FROM `user`
WHERE (`user`.`is_active`
       AND `user`.`seller_id` IS NOT NULL)

...

SELECT `seller`.`id`,
       ...
       `seller`.`email`,
       ...
FROM `seller`
WHERE `seller`.`id` = 1

...

问题：每次迭代都会触发单独的Seller查询，数据量大时会产生大量数据库请求，导致连接数过高。

尝试方案2：使用values('seller__email') #

执行代码：

from app.models import User
from django_print_sql import print_sql

with print_sql(count_only=False):
  users = User.objects.filter(is_active=True, seller_id__isnull=False).select_related().values('seller__email')
  for u in users.iterator():
    email = u['seller__email']
    send_email(email)

生成的SQL查询：

SELECT `seller`.`email`
FROM `user`
INNER JOIN `seller` ON (`user`.`seller_id` = `seller`.`id`)
WHERE (`user`.`is_active`
       AND `user`.`seller_id` IS NOT NULL)

问题：虽然只触发一次查询，但所有数据会一次性加载到内存，数据量大时内存占用过高，iterator()在此处完全无效。

核心疑问 #

能不能不用手动写分页子循环，实现按数据块迭代（比如每次获取500条邮箱）？或者说这种场景下最有效的迭代方式是什么？

1. 正确结合select_related与iterator(chunk_size) #

你之前的select_related()没指定关联的seller，导致Django没预取关联数据，才出现N+1查询。修正后配合iterator(chunk_size)就能实现分块迭代，同时避免N+1：

from app.models import User
from django_print_sql import print_sql

with print_sql(count_only=False):
    users = User.objects.filter(
        is_active=True, 
        seller_id__isnull=False
    ).select_related('seller').only('seller__email')
    
    # 指定chunk_size，每次从数据库拉取500条数据
    for u in users.iterator(chunk_size=500):
        email = u.seller.email
        send_email(email)

对应的SQL只会执行一次关联查询，然后分块拉取数据：

SELECT `user`.`id`, `user`.`seller_id`, `seller`.`email`
FROM `user`
INNER JOIN `seller` ON (`user`.`seller_id` = `seller`.`id`)
WHERE (`user`.`is_active` AND `user`.`seller_id` IS NOT NULL)

这种方式既不会一次性加载所有数据到内存，也不会产生大量数据库请求。

2. 用values_list替代values+iterator #

如果只需要seller__email这一个字段，用values_list配合iterator(chunk_size)更高效，返回的是元组而非字典，内存占用更低：

from app.models import User
from django_print_sql import print_sql

with print_sql(count_only=False):
    emails = User.objects.filter(
        is_active=True, 
        seller_id__isnull=False
    ).select_related('seller').values_list('seller__email', flat=True)
    
    for email in emails.iterator(chunk_size=500):
        send_email(email)

同样只会触发一次关联查询，并且分块加载数据，内存占用比values方案更低。

补充：为什么之前的iterator()无效？ #

使用values()时，Django的QuerySet会先把所有查询结果加载到内存中的字典列表，所以iterator()无法起到分块加载的作用。而用select_related+only或者values_list时，iterator(chunk_size)会真正分块从数据库拉取数据，避免内存溢出。

内容的提问来源于stack exchange，提问作者rzlvmp