Django项目：多次PostgreSQL查询与单次全量查询过滤的性能对比

两种方案的性能对比 #

1. 多次数据库查询（你的第一种方案） #

这种方案的核心是让数据库做它擅长的事：排序和分页。

• 优势：
  • 每次查询仅返回极少数据（4+2+3=9条），数据传输量极小。
  • 若给update_date、rating、price三个字段加上索引，PostgreSQL可直接通过索引获取排序后的前N条数据，无需全表扫描，查询速度极快。
  • 代码逻辑清晰简洁，维护成本低。
• 劣势：
  • 三次数据库请求，会产生三次连接/网络开销（本地数据库可忽略，远程数据库影响轻微）。

2. 全表拉取后内存筛选（你的第二种方案） #

这种方案仅适合极端场景：

• 优势：仅一次数据库请求。
• 劣势：
  • 若Product表数据量较大（上千条及以上），全表拉取会占用大量内存，且Python内存排序的效率远低于数据库的优化排序算法，性能会急剧下降。
  • 代码逻辑更复杂，需自行实现排序和筛选，容易出错。

更优的替代方案：用窗口函数一次查询搞定 #

利用PostgreSQL的窗口函数（Django 2.0+支持），一次查询即可获取所有需要的榜单数据，既避免多次请求开销，又能利用数据库的排序优势。

示例代码：

from django.db.models import Window, F, Q
from django.db.models.functions import RowNumber

# 给每条数据按三个维度标注排名
ranked_products = Product.objects.annotate(
    latest_rank=Window(
        expression=RowNumber(),
        order_by=F('update_date').desc()
    ),
    best_rank=Window(
        expression=RowNumber(),
        order_by=F('rating').asc()
    ),
    expensive_rank=Window(
        expression=RowNumber(),
        order_by=F('price').desc()
    )
).filter(
    # 筛选出三个榜单内的所有数据
    Q(latest_rank__lte=4) | Q(best_rank__lte=2) | Q(expensive_rank__lte=3)
)

# 在Python里分组整理成三个榜单
latest = [p for p in ranked_products if p.latest_rank <= 4]
best_rate = [p for p in ranked_products if p.best_rank <= 2]
expensive = [p for p in ranked_products if p.expensive_rank <= 3]

• 优势：
  • 仅一次数据库查询，避免多次请求的开销。
  • 数据库仅返回需要的9条数据（若有重复上榜的产品会多几条，可根据需求去重）。
  • 依然利用数据库的索引优化排序，性能与多次查询持平甚至更优。

最终建议 #

1. 如果表数据量极小（几百条以内）：两种基础方案差异不大，优先选多次查询，代码更简洁。
2. 如果表数据量较大：绝对不要用全表拉取内存筛选，优先选带索引的多次查询，或者用窗口函数的一次查询方案。
3. 无论选哪种方案，都要给update_date、rating、price三个字段添加索引，这是性能优化的关键。

内容的提问来源于stack exchange，提问作者qwerty000