Django ORM搜索：无需正则实现含特殊分隔符数据的匹配

针对数据库中同时存在带分隔符（如ABC-DE）和无分隔符（如ABCDE）的数据，用户用空格、下划线或连字符作为搜索条件时，可通过统一清洗输入与字段内容的方式实现无正则搜索，以下是两种可行方案：

方案1：实时字段处理（无需修改表结构） #

核心思路是同时清洗用户输入和数据库字段，统一去掉所有分隔符后再匹配，适合小数据量或临时需求场景。

实现步骤 #

1. 清洗用户输入：将搜索关键词中的空格、下划线、连字符全部替换为空字符串，得到统一的干净关键词。
2. ORM查询中清洗字段：使用Django的Func结合数据库REPLACE函数，嵌套替换数据库字段中的所有分隔符，通过annotate生成清洗后的字段后进行匹配。

代码示例 #

from django.db.models import Value, Func
from myapp.models import MyModel

def search_items(user_input):
    # 清洗用户输入
    clean_input = user_input.replace('-', '').replace('_', '').replace(' ', '')
    if not clean_input:
        return MyModel.objects.none()
    
    # 嵌套REPLACE清洗数据库字段
    cleaned_field = Func(
        Func(
            Func(
                MyModel.target_field,
                Value('-'), Value(''),
                function='REPLACE'
            ),
            Value('_'), Value(''),
            function='REPLACE'
        ),
        Value(' '), Value(''),
        function='REPLACE'
    )
    
    # 精确匹配（如需模糊包含，改用cleaned_field__contains=clean_input）
    return MyModel.objects.annotate(cleaned_target=cleaned_field).filter(cleaned_target=clean_input)

优化：自定义多替换函数 #

如果需要多次使用该逻辑，可以封装自定义数据库函数简化代码：

from django.db.models import Func, Value

class MultiReplace(Func):
    template = "REPLACE(REPLACE(REPLACE(%(expressions)s, %(del1)s, %(empty)s), %(del2)s, %(empty)s), %(del3)s, %(empty)s)"
    function = None  # 直接使用自定义模板，无需指定内置函数

    def __init__(self, expression, **extra):
        super().__init__(
            expression,
            del1=Value('-'),
            del2=Value('_'),
            del3=Value(' '),
            empty=Value(''),
            **extra
        )

# 使用方式简化为
cleaned_field = MultiReplace(MyModel.target_field)
results = MyModel.objects.annotate(cleaned_target=cleaned_field).filter(cleaned_target=clean_input)

方案2：预处理字段（适合大数据量） #

如果数据量较大，实时字段处理会导致索引失效、查询效率低下，此时可以在数据保存时提前生成无分隔符的字段，直接基于该字段查询。

实现步骤 #

1. 新增预处理字段：在模型中添加存储清洗后内容的字段，并添加数据库索引。
2. 自动预处理：重写模型的save方法，保存数据时自动清洗原字段内容并写入预处理字段。
3. 直接查询预处理字段：清洗用户输入后，直接匹配预处理字段。

代码示例 #

from django.db import models

class MyModel(models.Model):
    target_field = models.CharField(max_length=255, verbose_name="原字段")
    target_field_clean = models.CharField(max_length=255, db_index=True, verbose_name="清洗后字段")

    def save(self, *args, **kwargs):
        # 自动清洗原字段内容
        self.target_field_clean = self.target_field.replace('-', '').replace('_', '').replace(' ', '')
        super().save(*args, **kwargs)

# 查询函数
def search_items(user_input):
    clean_input = user_input.replace('-', '').replace('_', '').replace(' ', '')
    if not clean_input:
        return MyModel.objects.none()
    # 直接查询预处理字段，利用索引提升效率
    return MyModel.objects.filter(target_field_clean=clean_input)

历史数据处理 #

对于已存在的历史数据，需要批量更新预处理字段：

# 批量更新所有历史数据
MyModel.objects.all().update(
    target_field_clean=models.F('target_field').replace('-', '').replace('_', '').replace(' ', '')
)

两种方案对比 #

内容的提问来源于stack exchange，提问作者Leelamaya Shatapathy