Django模板regroup标签分组慢且加油记录分组结果不符合预期的问题
Django 按车辆分组的加油记录年归档实现问题
- 基于Django内置
YearArchiveView类视图开发加油记录的年度归档功能 - 核心业务需求:归档页面展示同一年的加油记录时,需按记录所属车辆(
vehicle_id外键属性)分组呈现 - 原有实现思路:因最初认为Django ORM不支持原生
GROUP BY聚合查询,尝试在模板中使用regroup标签完成分组逻辑 - 现存问题:
- 模板端
regroup实现方式运行耗时长 - 输出的分组结果与业务预期不匹配
- 模板端
原有定义的模型代码
class Vehicle(models.Model): serie = models.CharField(max_length=18, unique=True, blank=True, null=True) matricule = models.CharField(max_length=18, unique=True, blank=True, null=True) ww = models.CharField(max_length=18,blank=True, null=True) marque_id = models.ForeignKey('Marque', blank=True, null=True, on_delete=models.SET_NULL) entry_into_service = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True) mouchard = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True) extinguisher = models.DateField(auto_now=False, auto_now_add=False, blank=True, null=True, help_text="extincteur expiratiOn date") city_id = models.ForeignKey('City', blank=True, null=True, on_delete=models.SET_NULL) region_id = models.ForeignKey('Region', blank=True, null=True, on_delete=models.SET_NULL) driver_id = models.ForeignKey('Driver', blank=True, null=True, on_delete=models.SET_NULL) class Meta: ordering = ['serie','matricule'] def __str__(self): return (self.matricule) class GazStation(models.Model): name = models.CharField(max_length=128, blank=True) city_id = models.ForeignKey('City', blank=True, null=True, on_delete=models.SET_NULL) geo_localization = gis_models.PointField(blank=True, null=True) class Meta: ordering = ['city_id','name'] def __str__(self): return '%s %s' % (self.name, self.city_id.city) class Refuel(models.Model): vehicle_id = models.ForeignKey('Vehicle', blank=True, null=True, on_delete=models.SET_NULL) driver_id = models.ForeignKey('Driver', blank=True, null=True, on_delete=models.SET_NULL, limit_choices_to ={'is_driver':True}) Controlor_id = models.ForeignKey(settings.AUTH_USER_MODEL, blank=True, null=True, related_name='controlor_refuel', on_delete=models.SET_NULL, limit_choices_to ={'is_controlor':True}) gaz_station_id = models.ForeignKey('GazStation', blank=True, null=True, on_delete=models.SET_NULL) date_time_creation = models.DateTimeField(auto_now=False, auto_now_add=True) date_time_modified = models.DateTimeField(auto_now=True, blank=True) odometer_reading = models.PositiveIntegerField(blank=True) fuel_quantity = models.DecimalField(max_digits=5, decimal_places=2) fuel_unit_price = models.DecimalField(max_digits=6, decimal_places=2) class Meta: ordering = ['gaz_station_id','-date_time_creation'] def __str__(self): return (self.vehicle_id.serie)
原有实现的归档视图代码
####### refuel view filtred by year ################# class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView): queryset = Refuel.objects.order_by('vehicle_id').all() date_field = "date_time_creation" make_object_list = True allow_future = True
原有展示页面模板代码
{% extends 'base.html' %} {% load mathfilters %} {% block title %} <title>Refuels Archive</title> {% endblock title %} {% block content %} <div class="container"> <h1>La liste des gazoile archivé </h1> <ul> {% for date in date_list %} <li>{{ date|date }}</li> {% endfor %} </ul> <div> <h1>All Refuels for {{ year|date:"Y" }}</h1> {% regroup object_list by vehicle_id as vehicle_refuel %} <ul> {% for vehicle_id in vehicle_refuel %} <p> <li>Les pleints fait pour {{ vehicle_id.grouper}} sont:</li> </p> <table border="2"> <thead class="table-dark"> <th colspan="2">Driver name :</th> <th>Driver number :</th> <th>Gaz Station : </th> <th>Date :</th> <th>Kilometrage :</th> <th>Quantity of Fuel: </th> <th>Litre Price (Dh): </th> <th>Totale (Dh)</th> <th>City</th> </thead> <tbody id="body-table"><tr> {% for refuel in vehicle_id.list %} <tr> <td colspan="2">{{ refuel.driver_id.first_name}} {{ refuel.driver_id.last_name }}</td> <td>{{ refuel.driver_id.registration_number }}</td> <td>{{ refuel.gaz_station_id.name}}</td> <td>{{ refuel.date_time_creation }}</td> <td>{{ refuel.odometer_reading }}</td> <td>{{ refuel.fuel_quantity }}</td> <td>{{ refuel.fuel_unit_price }}</td> <td>{{ refuel.fuel_quantity|mul:refuel.fuel_unit_price }}</td> <td>{{ refuel.gaz_station_id.city_id.city }}</td> </tr> {% endfor %} </tbody> {% endfor %} </ul> </div> </div> {% endblock content %}
问题成因分析
- 性能问题根源:模板
regroup需要将全量查询集加载到内存中逐行遍历分组,没有利用数据库查询优化;同时原查询集没有做关联字段预加载,模板渲染时每访问一次外键关联字段就会触发一次数据库查询,形成N+1问题,数据量越大耗时越明显。 - 分组结果异常根源:
regroup标签有强制前置要求——被分组的列表必须严格按照分组字段排序,相同分组值的元素必须连续排列,否则会被拆分成多个独立分组。虽然视图中手动设置了按vehicle_id排序,但Refuel模型自带的Meta排序规则会和视图排序叠加,容易打乱连续分组的要求,最终导致分组错位。
优化实现方案
轻量优化方案:保留模板regroup逻辑,消除性能瓶颈
直接在视图层重写查询集,用ORM的关联预加载减少数据库查询次数,保证排序规则正确:
class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView): date_field = "date_time_creation" make_object_list = True allow_future = True def get_queryset(self): return Refuel.objects.select_related( # 一次性查出所有模板需要用到的关联字段,避免逐行查询 'vehicle_id', 'driver_id', 'gaz_station_id__city_id' ).order_by('vehicle_id') # 严格按照分组字段排序,满足regroup的前置要求
修改后不需要调整模板代码即可运行,性能提升幅度通常可达数倍。
高性能方案:完全用ORM实现数据库端分组,替代模板regroup
利用prefetch_related在数据库层完成分组关联,完全避免内存端分组的开销,适合大数据量场景:
from django.db.models import Prefetch class RefuelsListViewSup(LoginRequiredMixin, YearArchiveView): date_field = "date_time_creation" make_object_list = True allow_future = True def get_context_data(self, **kwargs): context = super().get_context_data(**kwargs) current_year = self.get_year() # 按车辆维度分组,关联查出对应年度的所有加油记录 vehicle_groups = Vehicle.objects.filter( refuel__date_time_creation__year=current_year ).distinct().order_by('serie', 'matricule').prefetch_related( Prefetch( 'refuel_set', queryset=Refuel.objects.select_related( 'driver_id', 'gaz_station_id__city_id' ).order_by('-date_time_creation') ) ) context['vehicle_refuel_groups'] = vehicle_groups return context
对应模板端移除regroup标签,直接遍历上下文传入的分组数据:
{% for vehicle in vehicle_refuel_groups %} <li>Les pleints fait pour {{ vehicle }} sont:</li> <table border="2"> <!-- 原有表格头内容保持不变 --> {% for refuel in vehicle.refuel_set.all %} <tr> <!-- 原有表格行内容保持不变 --> </tr> {% endfor %} </table> {% endfor %}
该方案下分组逻辑完全由数据库执行,没有内存遍历开销,关联查询次数固定为2次,大数据量下性能优势显著。
注意事项
- 若
vehicle_id字段存在空值,需在视图层提前过滤空记录,避免regroup生成无意义的空分组 - 不要在模板中直接遍历未做预加载的外键关联字段,这是Django项目最常见的性能瓶颈来源
- 叠加自定义过滤逻辑时,需始终保持查询集的排序规则匹配分组要求,避免分组错位
内容的提问来源于stack exchange,提问作者E.Mohammed
相关产品推荐
相关产品推荐

