Django新闻站点高效查询优化：规避全量数据获取问题

方案一：按分类单独查询并限制条数 #

• 针对需要的lead、top及其他目标分类，分别执行仅拉取前6条的查询，避免全量数据加载
• 示例代码：

# 假设News为新闻模型，domain是域名字段，status标记发布状态，category为分类外键
lead_news = News.objects.filter(domain="your_domain", status="published", category__slug="lead")[:6]
top_news = News.objects.filter(domain="your_domain", status="published", category__slug="top")[:6]
# 按需添加其他分类查询，比如财经、科技等
finance_news = News.objects.filter(domain="your_domain", status="published", category__slug="finance")[:6]

# 合并结果并去重（处理跨分类的重复新闻）
all_news = list(lead_news) + list(top_news) + list(finance_news)
seen_ids = set()
unique_news = []
for news in all_news:
    if news.id not in seen_ids:
        seen_ids.add(news.id)
        unique_news.append(news)

• 优势：精准控制每个分类的数据量，总查询数据量刚好匹配需求（约60条），查询效率最高
• 注意：若存在同一新闻归属多个分类的情况，必须做去重处理，避免前端重复展示

方案二：利用窗口函数筛选分类内前N条 #

• 通过Django的窗口函数（Window）为每个分类下的新闻按优先级（如发布时间、权重）排序并标注排名，直接筛选排名≤6的新闻
• 示例代码：

from django.db.models import Window, F
from django.db.models.functions import Rank

# 按分类分组，给每条新闻标注其在所属分类内的排名（按发布时间倒序）
ranked_news = News.objects.filter(domain="your_domain", status="published").annotate(
    category_rank=Window(
        expression=Rank(),
        partition_by=F("category"),
        order_by=F("publish_time").desc()
    )
)
# 筛选所有分类下排名前6的新闻
needed_news = ranked_news.filter(category_rank__lte=6)

• 优势：仅需一次数据库查询即可获取所有符合要求的新闻，不会遗漏任何分类的第6条数据
• 注意：需确保数据库支持窗口函数（如PostgreSQL、MySQL 8.0+），老旧数据库版本无法使用该方案

方案三：权重优先+小批量候选筛选 #

• 给新闻模型新增weight字段（如lead类设为5、top类设为4、普通分类设为1），按权重+发布时间排序拉取150条候选数据（远大于需求的60条），再在内存中按分类截断到6条
• 示例代码：

# 拉取权重最高、最新的150条候选新闻
candidates = News.objects.filter(domain="your_domain", status="published").order_by("-weight", "-publish_time")[:150]

# 按分类分组并保留前6条
from collections import defaultdict
categorized_news = defaultdict(list)
for news in candidates:
    if len(categorized_news[news.category]) < 6:
        categorized_news[news.category].append(news)

# 合并所有分类结果
needed_news = [news for category_list in categorized_news.values() for news in category_list]

• 优势：兼顾性能与准确性，150条数据的内存处理压力极小，且权重优先的排序逻辑能确保重要分类的内容不会被遗漏
• 注意：weight字段需根据业务规则自动赋值或定期维护，保证排序逻辑符合业务需求

内容的提问来源于stack exchange，提问作者KEHEM