Django多模型合并咨询：需支持分页与theme_name筛选

针对你遇到的跨相似模型合并、筛选、分页问题，这里提供三种实用方案，按需选择：

方案一：Union + Subquery（无需重构现有模型，性能可控） #

这种方式在数据库层面完成合并和筛选，只对必要字段做注解，避免全量字段annotate带来的性能问题。核心思路是给每个模型注解出theme_name，再通过union合并结构一致的QuerySet，最后处理排序和分页。

代码示例 #

from django.db.models import F, Subquery, OuterRef
from django.core.paginator import Paginator

# 为每个模型构造带theme_name的QuerySet
# 处理Model A
aa_theme_subquery = AAA.objects.filter(aa=OuterRef('aa')).values('theme_name')[:1]
a_query = A.objects.annotate(
    theme_name=Subquery(aa_theme_subquery),
    source_model=F('__class__.__name__')  # 可选，标记数据来源模型
).values('id', 'user', 'created_at', 'theme_name', 'source_model')

# 处理Model B
bb_theme_subquery = BBB.objects.filter(bb=OuterRef('bb')).values('theme_name')[:1]
b_query = B.objects.annotate(
    theme_name=Subquery(bb_theme_subquery),
    source_model=F('__class__.__name__')
).values('id', 'user', 'created_at', 'theme_name', 'source_model')

# 处理Model C
cc_theme_subquery = CCC.objects.filter(cc=OuterRef('cc')).values('theme_name')[:1]
c_query = C.objects.annotate(
    theme_name=Subquery(cc_theme_subquery),
    source_model=F('__class__.__name__')
).values('id', 'user', 'created_at', 'theme_name', 'source_model')

# 合并QuerySet（注意字段顺序、类型必须完全一致）
combined_query = a_query.union(b_query, c_query).order_by('created_at')

# 按theme_name筛选
target_theme = request.GET.get('theme_name')
if target_theme:
    combined_query = combined_query.filter(theme_name=target_theme)

# 分页处理
paginator = Paginator(combined_query, 10)  # 每页10条
page_num = request.GET.get('page', 1)
page_items = paginator.get_page(page_num)

优势 #

• 数据库层面操作，性能优于内存合并，分页基于数据库切片，无内存溢出风险
• 仅注解theme_name一个额外字段，不会因新增模型导致注解字段爆炸
• 无需修改现有模型结构，直接适配现有代码

方案二：抽象基类重构（长期维护最优解） #

既然三组模型结构完全一致，通过抽象基类消除重复代码，从根源解决跨模型合并问题。后续新增同类模型只需继承基类，无需修改合并查询逻辑。

代码示例 #

首先重构模型：

from django.db import models
from django.contrib.auth.models import User

# 抽象基类：主题内容模型（对应AA/BB/CC）
class BaseContent(models.Model):
    user = models.ForeignKey(User, on_delete=models.CASCADE)
    title = models.CharField(max_length=255)
    content = models.TextField()

    class Meta:
        abstract = True

# 抽象基类：主题关联模型（对应AAA/BBB/CCC）
class BaseThemeRelation(models.Model):
    theme_name = models.CharField(max_length=255)

    class Meta:
        abstract = True

# 抽象基类：用户关联项模型（对应A/B/C）
class BaseItem(models.Model):
    user = models.ForeignKey(User, on_delete=models.CASCADE)
    created_at = models.DateTimeField(auto_now_add=True)

    class Meta:
        abstract = True

# 重构现有模型
class AA(BaseContent):
    pass

class AAA(BaseThemeRelation):
    aa = models.ForeignKey(AA, on_delete=models.CASCADE, related_name='themes')

class A(BaseItem):
    aa = models.ForeignKey(AA, on_delete=models.CASCADE, related_name='items')

# 同理重构BB/BBB/B、CC/CCC/C...

然后合并查询：

from django.db.models import Q
from django.contrib.contenttypes.models import ContentType
from django.core.paginator import Paginator

# 获取目标模型的ContentType
a_ct = ContentType.objects.get_for_model(A)
b_ct = ContentType.objects.get_for_model(B)
c_ct = ContentType.objects.get_for_model(C)

# 合并查询并关联主题信息
combined_query = BaseItem.objects.filter(
    Q(content_type=a_ct) | Q(content_type=b_ct) | Q(content_type=c_ct)
).select_related(
    'aa__themes', 'bb__themes', 'cc__themes'
).annotate(
    theme_name=F('aa__themes__theme_name') | F('bb__themes__theme_name') | F('cc__themes__theme_name')
).order_by('created_at')

# 筛选和分页逻辑同方案一

优势 #

• 彻底消除模型代码重复，后续新增模型只需继承基类
• 合并查询逻辑可复用，无需因新增模型修改查询代码
• 代码结构更清晰，维护成本极低

注意事项 #

• 需要对现有模型做迁移，适合有时间重构的项目
• 需确保现有数据能平滑迁移到新模型结构

方案三：内存合并（小数据量快速实现） #

如果数据量不大（比如单模型数据量在万级以内），可以用itertools.chain在内存中合并数据，代码更简洁，但不适合大数据量场景。

代码示例 #

from itertools import chain
from django.core.paginator import Paginator, Page

# 筛选并关联主题数据
target_theme = request.GET.get('theme_name')

a_filter = {'aa__aaa__theme_name': target_theme} if target_theme else {}
a_items = A.objects.select_related('aa__aaa').filter(**a_filter)

b_filter = {'bb__bbb__theme_name': target_theme} if target_theme else {}
b_items = B.objects.select_related('bb__bbb').filter(**b_filter)

c_filter = {'cc__ccc__theme_name': target_theme} if target_theme else {}
c_items = C.objects.select_related('cc__ccc').filter(**c_filter)

# 合并后按created_at排序
combined_items = sorted(
    chain(a_items, b_items, c_items),
    key=lambda x: x.created_at
)

# 手动实现分页
page_size = 10
page_num = int(request.GET.get('page', 1))
start_idx = (page_num - 1) * page_size
end_idx = start_idx + page_size
paginated_items = combined_items[start_idx:end_idx]

# 包装成Django Page对象（可选，适配模板分页逻辑）
page = Page(paginated_items, page_num, Paginator(combined_items, page_size))

优势 #

• 代码简单，无需复杂的注解和union操作
• 无需修改现有模型

劣势 #

• 数据量大时会占用大量内存，性能下降明显
• 分页是内存切片，无法利用数据库的limit/offset优化

内容的提问来源于stack exchange，提问作者chocho