NodeJS+MongoDB 20万条1.3GB集合模糊查询响应过慢问题咨询

问题根因定位 #

• 正则匹配规则无法命中通配符索引：MongoDB的WILDCARD通配符索引不支持带i（不区分大小写）修饰符的正则查询，同时如果你的正则没有前缀锚定（即不是^关键词开头的格式），也无法触发通配符索引加速，你的查询相当于执行全表扫描，20万条1.3G的集合全表扫描自然耗时极长。
• 索引类型选择错误：你创建的$**通配符索引是针对嵌套动态字段的查询场景设计的，并不适合纯字符串字段的关键词模糊搜索场景，索引本身没有发挥预期价值。
• 查询逻辑未做分页限制：当前查询只要命中结果就会返回所有匹配数据，如果匹配结果量级达到数千甚至上万条，数据序列化、网络传输都会额外增加耗时。
• 代码写法存在隐性问题：你在mongoose查询中同时使用await和回调函数，属于语法混用，可能触发未知的逻辑异常，拖慢响应速度。

优化方案 #

1. 替换为文本索引（最高优先级） #

针对两个字符串字段创建联合文本索引，原生支持不区分大小写的关键词搜索，性能远高于正则匹配：

// 数据库端创建索引（只需要执行一次）
db.my_master_data.createIndex({ subject: "text", desc: "text" })

// 业务代码修改查询逻辑
searchp = {
  $text: {
    $search: keyword
  }
}

2. 正则场景优化 #

如果业务必须支持任意位置子串的模糊匹配，可做如下调整：

• 若能接受前缀匹配规则，将正则修改为new RegExp('^' + keyword, 'i')，同时为subject、desc创建普通单字段索引，即可命中索引加速。
• 若必须支持全字段任意位置匹配，20万条量级可先添加分页限制缓解响应慢问题，后续数据量进一步增长可考虑引入专业搜索引擎。

3. 新增分页逻辑 #

查询时添加limit、skip参数，每次只返回指定页数的结果：

// 示例：每页返回20条，page从前端传入
const page = req.body.page || 1
const pageSize = 20
await FboModel.find(searchp, {subject: 1, date: 1, solnbr: 1, naics: 1, classcod: 1, tbltype: 1, agency: 1, office: 1})
  .skip((page -1) * pageSize)
  .limit(pageSize)

4. 修正mongoose语法 #

去掉回调函数，统一使用async/await写法：

try {
  const data = await FboModel.find(searchp, {subject: 1, date: 1, solnbr: 1, naics: 1, classcod: 1, tbltype: 1, agency: 1, office: 1}).limit(20)
  if(data.length > 0) {
    res.send({message: "Data fetched Successfully", fbodata: data})
  } else {
    res.send({message: "No Record Found"})
  }
} catch (err) {
  res.send({message: err})
}

内容的提问来源于stack exchange，提问作者Ankit