使用SQLite3时Django过滤查询超1000条报错表达式树过大如何优化？

你遇到的报错本质是写法不当导致的：你循环为每个匹配到的Component生成独立的Product.objects.filter()查询，再用|运算符做或运算拼接，每拼接一个查询就会让SQL表达式树深度+1，当匹配到的Component超过1000条时就会触发SQLite的表达式树深度上限限制。另外原代码中对Integer类型的id_number使用icontains属于错误用法，整数不存在模糊匹配的场景，也会带来额外的性能开销。

直接利用Django的跨关联查询能力，不需要先查Component再拼接Product过滤条件，一步完成查询，完全规避表达式深度问题，性能也比原写法高几个数量级：

from django.db.models import Q

query = Product.objects.all()
if 'components' in request.GET and request.GET['components'].strip():
    component_queries = request.GET['components'].strip().split(",")
    # 构造Component名称匹配所有关键词的过滤条件
    component_filter = Q()
    for keyword in component_queries:
        component_filter &= Q(component__name__icontains=keyword)
    # 直接过滤关联Component满足条件的Product，去重避免重复结果
    query = query.filter(component_filter).distinct()

该写法的优势：

• 仅生成1条SQL查询，不需要把大量Component数据加载到Django内存中处理
• 完全不会触发SQLite表达式深度限制，哪怕匹配到上万条Component也正常运行
• 数据库层面直接完成过滤，性能远高于原写法的内存循环拼接

如果要保留你先查Component再过滤Product的逻辑，不要循环拼接|，直接用__in运算符传入关联产品ID列表即可，仅会生成1个过滤条件，不会触发深度限制：

query = Product.objects.all()
if 'components' in request.GET and request.GET['components'].strip():
    component_queries = request.GET['components'].strip().split(",")
    components = Component.objects.all()
    for component_query in component_queries:
        components &= Component.objects.filter(name__icontains=component_query)
    # 直接拿匹配到的Component关联的产品ID列表做in过滤
    product_ids = components.values_list('product_id', flat=True)
    query = query.filter(id_number__in=product_ids)

• 可以给Component.name字段加前缀索引，提升模糊查询性能，不过SQLite的前后通配模糊查询索引收益有限，如果业务允许可以改成前缀匹配__startswith来用上索引
• 后续如果数据量继续上涨，可以考虑换用PostgreSQL这类支持全文检索的数据库，模糊查询性能会比SQLite好很多

内容的提问来源于stack exchange，提问作者bqi138