基于Mongoose与MongoDB社区版的向量搜索实现方案问询

一、MongoDB社区版能否实现原生向量搜索？ #

MongoDB社区版原生不支持官方的向量搜索（Vector Search）功能——该特性是MongoDB Atlas的专属服务，社区版没有内置的向量索引和专用匹配算子。

二、基于MongoDB社区版的向量搜索实现路径 #

1. 预生成内容向量嵌入 #

无论处理文本、图片还是视频，都需要先将内容转换为数值向量（嵌入）：

• 文本：使用开源嵌入模型（如Sentence-BERT），通过Node.js的sentence-transformers库生成向量数组。
• 图片/视频：先提取特征（如用CLIP模型提取图片特征，视频抽取关键帧后转向量），生成对应向量数组。
• Mongoose模型定义：添加向量存储字段，示例如下：

const mongoose = require('mongoose');

const mediaSchema = new mongoose.Schema({
  // 原始内容字段
  textContent: String,
  imageUrl: String,
  videoUrl: String,
  // 存储生成的嵌入向量（维度依模型而定，示例为1536维）
  embedding: {
    type: [Number],
    required: true
  }
});

const Media = mongoose.model('Media', mediaSchema);

2. 实现向量相似度匹配 #

由于社区版无原生向量搜索算子，需通过以下两种方式实现匹配：

方式一：应用层计算（适合小数据集）

查询所有文档后，在Node.js层计算目标向量与文档向量的余弦相似度，排序后返回结果：

// 余弦相似度计算函数
function cosineSimilarity(vecA, vecB) {
  const dotProduct = vecA.reduce((sum, a, i) => sum + a * vecB[i], 0);
  const magA = Math.sqrt(vecA.reduce((sum, a) => sum + a * a, 0));
  const magB = Math.sqrt(vecB.reduce((sum, b) => sum + b * b, 0));
  return dotProduct / (magA * magB);
}

// 相似内容搜索函数
async function searchSimilarMedia(targetEmbedding) {
  const allMedia = await Media.find({});
  // 计算相似度并按降序排序
  const sortedResults = allMedia.map(media => ({
    ...media.toObject(),
    similarity: cosineSimilarity(targetEmbedding, media.embedding)
  })).sort((a, b) => b.similarity - a.similarity);
  return sortedResults.slice(0, 10); // 返回前10个最相似结果
}

方式二：MongoDB聚合管道计算（适合大数据集）

利用MongoDB的聚合算子（$dotProduct、$sqrt、$pow等）在数据库层完成相似度计算，减少应用与数据库间的数据传输：

async function searchSimilarMediaWithAggregation(targetEmbedding) {
  const results = await Media.aggregate([
    {
      $addFields: {
        dotProduct: { $dotProduct: ['$embedding', targetEmbedding] },
        magEmbedding: { 
          $sqrt: { 
            $sum: { 
              $map: { input: '$embedding', as: 'val', in: { $pow: ['$$val', 2] } } 
            } 
          } 
        },
        magTarget: { 
          $sqrt: { 
            $sum: { 
              $map: { input: targetEmbedding, as: 'val', in: { $pow: ['$$val', 2] } } 
            } 
          } 
        }
      }
    },
    {
      $addFields: {
        similarity: { $divide: ['$dotProduct', { $multiply: ['$magEmbedding', '$magTarget'] }] }
      }
    },
    { $sort: { similarity: -1 } },
    { $limit: 10 }
  ]);
  return results;
}

3. 性能优化（可选） #

针对大数据集，可通过以下方式优化：

• 使用近似最近邻（ANN）库：如faiss-node或annoy，提前构建向量索引，搜索时先快速筛选候选集，再进行精确相似度计算。
• 向量与原始数据分离：用Redis RediSearch（支持向量搜索）存储向量及对应MongoDB文档ID，搜索时先从Redis获取相似ID，再到MongoDB查询原始内容。

三、其他替代方案 #

若不想基于MongoDB社区版开发，可选择：

• 开源向量数据库：如Milvus、Chroma、Qdrant，与MongoDB配合使用——MongoDB存储原始媒体数据，向量数据库存储向量及关联ID，搜索时联动查询。
• Elasticsearch：7.10+版本支持向量搜索，同样可与MongoDB搭配实现完整的内容检索。

内容的提问来源于stack exchange，提问作者Rajesh Kumar