You need to enable JavaScript to run this app. Django模板regroup标签分组慢且加油记录分组结果不符合预期的问题
优惠活动
大模型
产品
解决方案
定价
更多

Django模板regroup标签分组慢且加油记录分组结果不符合预期的问题

Django 按车辆分组的加油记录年归档实现问题
  • 基于Django内置YearArchiveView类视图开发加油记录的年度归档功能
  • 核心业务需求:归档页面展示同一年的加油记录时,需按记录所属车辆(vehicle_id外键属性)分组呈现
  • 原有实现思路:因最初认为Django ORM不支持原生GROUP BY聚合查询,尝试在模板中使用regroup标签完成分组逻辑
  • 现存问题:
    • 模板端regroup实现方式运行耗时长
    • 输出的分组结果与业务预期不匹配

原有定义的模型代码

class Vehicle(models.Model):
    serie = models.CharField(max_length=18, unique=True, blank=True, null=True)
    matricule = models.CharField(max_length=18, unique=True, blank=True, null=True)
    ww = models.CharField(max_length=18,blank=True, null=True)
    marque_id = models.ForeignKey('Marque', blank=True, null=True, on_delete=models.SET_NULL)
    entry_into_service = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True)
    mouchard = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True)
    extinguisher = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True, help_text="extincteur expiratiOn date")
    city_id = models.ForeignKey('City', blank=True, null=True, on_delete=models.SET_NULL)
    region_id = models.ForeignKey('Region', blank=True, null=True, on_delete=models.SET_NULL)
    driver_id = models.ForeignKey('Driver', blank=True, null=True, on_delete=models.SET_NULL)
    class Meta:
        ordering = ['serie','matricule']

    def __str__(self):
        return (self.matricule)

class GazStation(models.Model):
    name = models.CharField(max_length=128, blank=True)
    city_id = models.ForeignKey('City',  blank=True, null=True, on_delete=models.SET_NULL)
    geo_localization = gis_models.PointField(blank=True, null=True)
    class Meta:
        ordering = ['city_id','name']
    def __str__(self):
        return '%s %s' % (self.name, self.city_id.city)

class Refuel(models.Model):
    vehicle_id = models.ForeignKey('Vehicle', blank=True, null=True, on_delete=models.SET_NULL)
    driver_id = models.ForeignKey('Driver', blank=True, null=True, on_delete=models.SET_NULL, limit_choices_to ={'is_driver':True})
    Controlor_id = models.ForeignKey(settings.AUTH_USER_MODEL, blank=True, null=True, related_name='controlor_refuel', on_delete=models.SET_NULL, limit_choices_to ={'is_controlor':True})
    gaz_station_id = models.ForeignKey('GazStation', blank=True, null=True, on_delete=models.SET_NULL)
    date_time_creation = models.DateTimeField(auto_now=False, auto_now_add=True)
    date_time_modified = models.DateTimeField(auto_now=True, blank=True)
    odometer_reading = models.PositiveIntegerField(blank=True)
    fuel_quantity = models.DecimalField(max_digits=5, decimal_places=2)
    fuel_unit_price = models.DecimalField(max_digits=6, decimal_places=2)
    class Meta:
        ordering = ['gaz_station_id','-date_time_creation']
    def __str__(self):
        return (self.vehicle_id.serie)

原有实现的归档视图代码

####### refuel view filtred by year  #################
class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView):
    queryset = Refuel.objects.order_by('vehicle_id').all()
    date_field = "date_time_creation"
    make_object_list = True
    allow_future = True

原有展示页面模板代码

{% extends 'base.html' %}
{% load mathfilters %}
{% block title %}
    <title>Refuels Archive</title>
{% endblock title %}
{% block content %}
          <div class="container">
                  <h1>La liste des gazoile archivé </h1>
              <ul>
                  {% for date in date_list %}
              <li>{{ date|date }}</li>
                  {% endfor %}
              </ul>
          <div>
        <h1>All Refuels for {{ year|date:"Y" }}</h1>
        {% regroup object_list by vehicle_id as vehicle_refuel %}
        <ul>
          {% for vehicle_id in vehicle_refuel %}
            <p>
              <li>Les pleints fait pour {{ vehicle_id.grouper}} sont:</li>
            </p>
            <table border="2">
              <thead class="table-dark">
                <th colspan="2">Driver name :</th>
                <th>Driver number :</th>
                <th>Gaz Station : </th>
                <th>Date :</th>
                <th>Kilometrage :</th>
                <th>Quantity of Fuel: </th>
                <th>Litre Price (Dh): </th>
                <th>Totale (Dh)</th>
                <th>City</th>
              </thead>
              <tbody id="body-table"><tr>
              {% for refuel in vehicle_id.list %}
              <tr>
                <td colspan="2">{{ refuel.driver_id.first_name}}  {{ refuel.driver_id.last_name }}</td>
                <td>{{ refuel.driver_id.registration_number }}</td>
                <td>{{ refuel.gaz_station_id.name}}</td>
                <td>{{ refuel.date_time_creation }}</td>
                <td>{{ refuel.odometer_reading }}</td>
                <td>{{ refuel.fuel_quantity }}</td>
                <td>{{ refuel.fuel_unit_price }}</td>
                <td>{{ refuel.fuel_quantity|mul:refuel.fuel_unit_price }}</td>
                <td>{{ refuel.gaz_station_id.city_id.city }}</td>
              </tr>
              {% endfor %}
            </tbody>
            {% endfor %}
        </ul>

          </div>
        </div>

        {% endblock content %}

问题成因分析

  1. 性能问题根源:模板regroup需要将全量查询集加载到内存中逐行遍历分组,没有利用数据库查询优化;同时原查询集没有做关联字段预加载,模板渲染时每访问一次外键关联字段就会触发一次数据库查询,形成N+1问题,数据量越大耗时越明显。
  2. 分组结果异常根源:regroup标签有强制前置要求——被分组的列表必须严格按照分组字段排序,相同分组值的元素必须连续排列,否则会被拆分成多个独立分组。虽然视图中手动设置了按vehicle_id排序,但Refuel模型自带的Meta排序规则会和视图排序叠加,容易打乱连续分组的要求,最终导致分组错位。

优化实现方案

轻量优化方案:保留模板regroup逻辑,消除性能瓶颈

直接在视图层重写查询集,用ORM的关联预加载减少数据库查询次数,保证排序规则正确:

class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView):
    date_field = "date_time_creation"
    make_object_list = True
    allow_future = True

    def get_queryset(self):
        return Refuel.objects.select_related(
            # 一次性查出所有模板需要用到的关联字段,避免逐行查询
            'vehicle_id', 'driver_id', 'gaz_station_id__city_id'
        ).order_by('vehicle_id') # 严格按照分组字段排序,满足regroup的前置要求

修改后不需要调整模板代码即可运行,性能提升幅度通常可达数倍。

高性能方案:完全用ORM实现数据库端分组,替代模板regroup

利用prefetch_related在数据库层完成分组关联,完全避免内存端分组的开销,适合大数据量场景:

from django.db.models import Prefetch

class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView):
    date_field = "date_time_creation"
    make_object_list = True
    allow_future = True

    def get_context_data(self, **kwargs):
        context = super().get_context_data(**kwargs)
        current_year = self.get_year()
        # 按车辆维度分组,关联查出对应年度的所有加油记录
        vehicle_groups = Vehicle.objects.filter(
            refuel__date_time_creation__year=current_year
        ).distinct().order_by('serie', 'matricule').prefetch_related(
            Prefetch(
                'refuel_set',
                queryset=Refuel.objects.select_related(
                    'driver_id', 'gaz_station_id__city_id'
                ).order_by('-date_time_creation')
            )
        )
        context['vehicle_refuel_groups'] = vehicle_groups
        return context

对应模板端移除regroup标签,直接遍历上下文传入的分组数据:

{% for vehicle in vehicle_refuel_groups %}
  <li>Les pleints fait pour {{ vehicle }} sont:</li>
  <table border="2">
    <!-- 原有表格头内容保持不变 -->
    {% for refuel in vehicle.refuel_set.all %}
    <tr>
      <!-- 原有表格行内容保持不变 -->
    </tr>
    {% endfor %}
  </table>
{% endfor %}

该方案下分组逻辑完全由数据库执行,没有内存遍历开销,关联查询次数固定为2次,大数据量下性能优势显著。

注意事项

  • 若vehicle_id字段存在空值,需在视图层提前过滤空记录,避免regroup生成无意义的空分组
  • 不要在模板中直接遍历未做预加载的外键关联字段,这是Django项目最常见的性能瓶颈来源
  • 叠加自定义过滤逻辑时,需始终保持查询集的排序规则匹配分组要求,避免分组错位

内容的提问来源于stack exchange,提问作者E.Mohammed

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 04:15:07