Django性能优化：基于双字段筛选匹配事件的查询优化方案

问题背景 #

模型定义 #

from django.db import models
from django.db.models import Model, CharField, ForeignKey, CASCADE

class Event(Model):
    # 其他字段省略
    ...

class IOCType(Model):
    name = CharField(max_length=50)

class IOCInfo(Model):
    event = ForeignKey(Event, on_delete=CASCADE, related_name="iocs")
    ioc_type = ForeignKey(IOCType, on_delete=CASCADE)
    value = CharField(max_length=50)

现有数据 #

现有实现及问题 #

当前通过循环拼接查询的方式实现匹配，但数据量增大时，多次查询合并会导致SQL冗余、数据库往返次数过多，成为性能瓶颈：

def search_matches(event):
    matches = Event.objects.none() 
    for ioc in event.iocs.all():
        matches |= Event.objects.filter(
            iocs__ioc_type=ioc.ioc_type, iocs__value=ioc.value
        )
    return matches.exclude(event=event.id)

优化方案 #

1. 一次性构造匹配条件（替代循环拼接） #

通过构造Q对象的OR组合，将所有IOC匹配条件合并为单条SQL查询，减少数据库交互：

from django.db.models import Q

def search_matches(event):
    # 获取当前Event的所有IOC(type, value)对
    ioc_pairs = event.iocs.values_list('ioc_type_id', 'value')
    # 构造OR查询条件
    match_conditions = Q()
    for type_id, val in ioc_pairs:
        match_conditions |= Q(iocs__ioc_type_id=type_id, iocs__value=val)
    
    # 查询匹配的Event并去重（排除自身）
    return Event.objects.filter(match_conditions).exclude(id=event.id).distinct()

2. 使用子查询优化大数据量场景 #

当IOC数据规模极大时，用Exists子查询可以进一步提升性能——数据库会在找到第一个匹配项后停止扫描，无需返回所有匹配记录：

from django.db.models import Exists, OuterRef

def search_matches(event):
    # 获取当前Event的IOC(type, value)集合
    current_iocs = event.iocs.values('ioc_type', 'value')
    # 构造Exists子查询：检查其他Event是否有匹配的IOC
    matches = Event.objects.filter(
        Exists(
            IOCInfo.objects.filter(
                event=OuterRef('pk'),
                ioc_type__in=current_iocs.values('ioc_type'),
                value__in=current_iocs.values('value')
            ).filter(
                # 确保type和value同时匹配
                Q(ioc_type=OuterRef('iocs__ioc_type')) & Q(value=OuterRef('iocs__value'))
            )
        )
    ).exclude(id=event.id).distinct()
    return matches

3. 添加数据库索引（关键优化） #

给IOCInfo的组合字段添加索引，让数据库能快速定位匹配记录，大幅降低查询耗时：
修改IOCInfo模型的Meta类：

class IOCInfo(Model):
    event = ForeignKey(Event, on_delete=CASCADE, related_name="iocs")
    ioc_type = ForeignKey(IOCType, on_delete=CASCADE)
    value = CharField(max_length=50)

    class Meta:
        indexes = [
            # 针对(type, value)匹配的联合索引
            models.Index(fields=['ioc_type', 'value']),
            # 关联Event的组合索引，优化关联查询
            models.Index(fields=['event', 'ioc_type', 'value']),
        ]

效果验证 #

以上优化方案在传入eventid2时，均能正确返回eventid1和eventid4，且在大数据量场景下，查询性能远优于原有循环拼接的实现。

内容的提问来源于stack exchange，提问作者wisvem