如何优化Django M2M过滤场景下__in查询集的执行性能
性能瓶颈原因
你当前的查询性能损耗主要来自三个核心问题:
- M2M关联中间表缺少反向查询索引,
type__in过滤时需要全表扫描中间表匹配关联的Catalogue记录 - 关联查询后为了去重加的
distinct()产生了额外的排序开销 - 用
CharField存储时间字段,时间比较和排序效率远低于原生时间类型
具体优化方案
1. 新增M2M中间表反向联合索引
Django默认生成的M2M中间表只有(catalogue_id, type_id)的联合主键,你现在按type_id反向过滤Catalogue,需要新增反向联合索引,推荐显式定义中间表,同时必须把存储时间的datetime字段从CharField改为DateTimeField,否则时间比较和排序的性能损耗会非常大:
class CatalogueTypeRel(models.Model): catalogue = models.ForeignKey(Catalogue, on_delete=models.CASCADE) type = models.ForeignKey(Type, on_delete=models.CASCADE) class Meta: indexes = [ models.Index(fields=['type', 'catalogue']), ] # 调整Catalogue的type字段指定中间表 class Catalogue(models.Model): city = models.CharField(db_index=True,max_length=100, null=True) district = models.CharField(db_index=True,max_length=100, null=True) type = models.ManyToManyField(Type, db_index=True, through=CatalogueTypeRel) datetime = models.DateTimeField(db_index=True, null=True)
如果不想改现有表结构,也可以直接在数据库给默认生成的中间表(表名一般是{app名}_catalogue_type)手动加(type_id, catalogue_id)的联合索引。
2. 替换关联查询为子查询,去掉不必要的distinct
你当前用filter(type__in=xxx)会触发Catalogue和中间表的JOIN,产生重复记录需要distinct()去重,改为子查询写法可以避免JOIN,省去去重开销:
class all_ads(generic.ListView): paginate_by = 12 template_name = 'new_list_view_grid-card.html' def get_queryset(self): city_district = self.request.GET.getlist('city_district') usage = self.request.GET.get('usage') status = self.request.GET.get('status') last2week = datetime.datetime.now() - datetime.timedelta(days=14) status = status.split(',') if usage: usage = usage.split(',') else: usage = [str(i) for i in range(1,32)] intersections = list(set(status).intersection(usage)) # 没有匹配的type直接返回空集,避免无效查询 if not intersections: return models.Catalogue.objects.none() result = models.Catalogue.objects.filter( Q(datetime__gte=last2week) & Q(type__id__in=intersections) & ((reduce(operator.or_, (Q(city__contains=x) for x in city_district)) & Q(city__isnull=False)) | (reduce(operator.or_, (Q(district__contains=x) for x in city_district)) & Q(district__isnull=False))) ).order_by('-datetime').prefetch_related('type') return result
注:原来的
Q(type__isnull=False)属于冗余条件,你已经通过type__id__in过滤关联记录,不需要额外判空。
3. 优化地区查询的索引利用
你当前用的city__contains是前后模糊匹配,无法命中city字段的普通索引,如果业务允许改为前缀匹配(比如只匹配市/区开头),可以把contains替换为startswith,就能用上索引。如果必须全模糊匹配,可以给city和district字段加MySQL全文索引,用全文搜索替代模糊查询。
4. 新增Catalogue表联合索引
针对你的常用查询条件和排序规则,给Catalogue表加联合索引,可以进一步提升过滤和排序效率:
class Catalogue(models.Model): # 原有字段不变 class Meta: indexes = [ models.Index(fields=['-datetime', 'city', 'district']), ]
内容的提问来源于stack exchange,提问作者omid jahadi
相关产品推荐
相关产品推荐

