修复Django视图中运行缓慢的多关键词数据库过滤任务

问题根源 #

原代码对每个关键词单独发起一次数据库查询，频繁的连接建立+多次查询的累加开销直接导致请求超时。核心优化方向是减少数据库查询次数+优化查询效率。

具体优化步骤 #

1. 合并查询条件，单次数据库请求完成过滤

将多个关键词的icontains条件通过Q对象合并，一次查询获取所有匹配数据，彻底消除循环查询的开销：

import pandas as pd
from django.db.models import Q
from io import BytesIO
from django.http import HttpResponse

# 原代码保留部分
input_df = pd.read_excel(uploadedfile)
variable_column = code  # 确保code是KT_DB模型中正确的字段名字符串
search_type = 'icontains'

# 优化后的查询逻辑
# 提取关键词：去重+过滤空值，避免无效查询
keywords = input_df["KT_DB"].dropna().unique().tolist()
if not keywords:
    # 无有效关键词时直接返回空文件
    frame = pd.DataFrame()
else:
    # 构建OR条件的Q查询
    query = Q()
    for keyword in keywords:
        query |= Q(**{f"{variable_column}__{search_type}": keyword})
    # 单次查询获取所有匹配数据
    qset = KT_DB.objects.filter(query)
    frame = pd.DataFrame.from_records(qset.values())

# 导出Excel部分保留（微调写法）
with BytesIO() as b:
    writer = pd.ExcelWriter(b, engine='xlsxwriter')
    frame.to_excel(writer, sheet_name='Sheet1', index=False)
    writer.close()  # 替换save为close，xlsxwriter官方推荐写法
    filename = 'KW'
    content_type = 'application/vnd.ms-excel'
    response = HttpResponse(b.getvalue(), content_type=content_type)
    response['Content-Disposition'] = f'attachment; filename="{filename}.xlsx"'
    return response

2. 数据库层面索引优化（关键提速项）

icontains默认无法使用普通索引，需针对数据库类型做针对性优化：

• MySQL：给目标字段添加全文索引，将icontains替换为search查询（注意匹配分词规则）：

  # 模型中定义全文索引
  class KT_DB(models.Model):
      code = models.CharField(max_length=255)
      # 其他字段...
      class Meta:
          indexes = [
              models.Index(fields=['code'], name='code_fulltext', type='fulltext'),
          ]
  # 查询时替换为search
  query |= Q(**{f"{variable_column}__search": keyword})
  

• PostgreSQL：安装pg_trgm扩展，给字段添加GIN/GIST索引，原生支持icontains走索引：

  -- 先安装扩展（需管理员权限）
  CREATE EXTENSION IF NOT EXISTS pg_trgm;
  -- 添加trigram索引
  CREATE INDEX kt_db_code_trgm_idx ON kt_db USING GIN (code gin_trgm_ops);
  

  添加索引后，原icontains查询会自动使用索引，查询速度大幅提升。

3. 超大数据量场景：异步任务处理

如果关键词数量极多/匹配数据量超大，单次查询仍可能超时，可改用Celery异步生成文件：

1. 视图接收上传文件后，将任务提交到Celery队列，返回任务ID；
2. Celery worker后台执行查询+导出逻辑，将文件存储到本地/对象存储；
3. 前端通过任务ID轮询获取下载链接，下载生成好的文件。

额外小优化 #

• 关键词去重：避免重复查询相同关键词；
• 过滤空关键词：消除无效查询；
• 导出时关闭writer：避免资源泄漏，符合官方规范。

内容的提问来源于stack exchange，提问作者Satheesh J