You need to enable JavaScript to run this app. 如何优化Django M2M过滤场景下__in查询集的执行性能
优惠活动
大模型
产品
解决方案
定价
更多

如何优化Django M2M过滤场景下__in查询集的执行性能

性能瓶颈原因

你当前的查询性能损耗主要来自三个核心问题:

  1. M2M关联中间表缺少反向查询索引,type__in过滤时需要全表扫描中间表匹配关联的Catalogue记录
  2. 关联查询后为了去重加的distinct()产生了额外的排序开销
  3. 用CharField存储时间字段,时间比较和排序效率远低于原生时间类型

具体优化方案

1. 新增M2M中间表反向联合索引

Django默认生成的M2M中间表只有(catalogue_id, type_id)的联合主键,你现在按type_id反向过滤Catalogue,需要新增反向联合索引,推荐显式定义中间表,同时必须把存储时间的datetime字段从CharField改为DateTimeField,否则时间比较和排序的性能损耗会非常大:

class CatalogueTypeRel(models.Model):
    catalogue = models.ForeignKey(Catalogue, on_delete=models.CASCADE)
    type = models.ForeignKey(Type, on_delete=models.CASCADE)
    
    class Meta:
        indexes = [
            models.Index(fields=['type', 'catalogue']),
        ]

# 调整Catalogue的type字段指定中间表
class Catalogue(models.Model):
    city = models.CharField(db_index=True,max_length=100, null=True)
    district = models.CharField(db_index=True,max_length=100, null=True)
    type = models.ManyToManyField(Type, db_index=True, through=CatalogueTypeRel)
    datetime = models.DateTimeField(db_index=True, null=True)

如果不想改现有表结构,也可以直接在数据库给默认生成的中间表(表名一般是{app名}_catalogue_type)手动加(type_id, catalogue_id)的联合索引。

2. 替换关联查询为子查询,去掉不必要的distinct

你当前用filter(type__in=xxx)会触发Catalogue和中间表的JOIN,产生重复记录需要distinct()去重,改为子查询写法可以避免JOIN,省去去重开销:

class all_ads(generic.ListView):
    paginate_by = 12
    template_name = 'new_list_view_grid-card.html'
    def get_queryset(self):
        city_district = self.request.GET.getlist('city_district')
        usage = self.request.GET.get('usage')
        status = self.request.GET.get('status')

        last2week = datetime.datetime.now() - datetime.timedelta(days=14)

        status = status.split(',')

        if usage:
            usage = usage.split(',')
        else:
            usage = [str(i) for i in range(1,32)]

        intersections = list(set(status).intersection(usage))
        # 没有匹配的type直接返回空集,避免无效查询
        if not intersections:
            return models.Catalogue.objects.none()

        result = models.Catalogue.objects.filter(
            Q(datetime__gte=last2week) &
            Q(type__id__in=intersections) &
            ((reduce(operator.or_, (Q(city__contains=x) for x in city_district)) & Q(city__isnull=False)) |
             (reduce(operator.or_, (Q(district__contains=x) for x in city_district)) & Q(district__isnull=False)))
        ).order_by('-datetime').prefetch_related('type')

        return result

注:原来的Q(type__isnull=False)属于冗余条件,你已经通过type__id__in过滤关联记录,不需要额外判空。

3. 优化地区查询的索引利用

你当前用的city__contains是前后模糊匹配,无法命中city字段的普通索引,如果业务允许改为前缀匹配(比如只匹配市/区开头),可以把contains替换为startswith,就能用上索引。如果必须全模糊匹配,可以给city和district字段加MySQL全文索引,用全文搜索替代模糊查询。

4. 新增Catalogue表联合索引

针对你的常用查询条件和排序规则,给Catalogue表加联合索引,可以进一步提升过滤和排序效率:

class Catalogue(models.Model):
    # 原有字段不变
    class Meta:
        indexes = [
            models.Index(fields=['-datetime', 'city', 'district']),
        ]

内容的提问来源于stack exchange,提问作者omid jahadi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 02:42:02