如何在Elasticsearch中结合KNN搜索与msearch API高效执行批量向量查询

Elasticsearch的_msearch API完全支持在每个子请求中嵌入KNN查询，批量处理多向量检索需求，无需逐个循环调用。以下是具体示例和关键说明：

基础批量KNN查询示例 #

假设你有一个名为product_embeddings的索引，其中item_vector是存储向量的dense_vector字段，下面的请求一次性执行3个独立的KNN搜索：

curl -X POST "http://your-es-host:9200/_msearch" -H "Content-Type: application/json" -d'
{"index": "product_embeddings"}
{"knn": {"field": "item_vector", "query_vector": [0.12, 0.34, 0.56, 0.78], "k": 5, "num_candidates": 100}}
{"index": "product_embeddings"}
{"knn": {"field": "item_vector", "query_vector": [0.90, 0.87, 0.65, 0.43], "k": 3, "num_candidates": 100}}
{"index": "product_embeddings"}
{"knn": {"field": "item_vector", "query_vector": [0.22, 0.44, 0.66, 0.88], "k": 5, "num_candidates": 100}}
'

请求结构说明 #

• 每个子请求由两行组成：第一行指定目标索引（如果所有查询都指向同一索引，仅需在第一个子请求中声明，后续可省略该行）
• 第二行是标准KNN查询体：
  • field：目标向量字段名
  • query_vector：当前查询的向量值
  • k：需要返回的近邻文档数量
  • num_candidates：检索阶段的候选文档数，建议设置为k的10-20倍，平衡检索精度和性能

带过滤条件的批量KNN查询 #

如果需要给每个KNN查询添加过滤条件，可结合bool查询实现：

curl -X POST "http://your-es-host:9200/_msearch" -H "Content-Type: application/json" -d'
{"index": "product_embeddings"}
{"query": {"bool": {"must": [{"knn": {"field": "item_vector", "query_vector": [0.12, 0.34, 0.56, 0.78], "k": 5, "num_candidates": 100}}], "filter": [{"term": {"category": "electronics"}}]}}}
{"index": "product_embeddings"}
{"query": {"bool": {"must": [{"knn": {"field": "item_vector", "query_vector": [0.90, 0.87, 0.65, 0.43], "k": 3, "num_candidates": 100}}], "filter": [{"term": {"category": "clothing"}}]}}}
'

关键注意事项 #

• 确保向量字段已正确映射为dense_vector类型，例如：

  {"mappings": {"properties": {"item_vector": {"type": "dense_vector", "dims": 4}}}}
  

• 批量请求的子数量建议根据集群性能控制（如单次100-500个），避免过大请求导致超时
• 每个子请求可独立配置k、num_candidates，甚至指向不同索引，灵活性很高

内容的提问来源于stack exchange，提问作者Bao Le