稠密稀疏混合近邻检索是结合稠密向量和稀疏向量的检索方法，可以同时利用稠密向量的语义匹配能力和稀疏向量的关键词匹配能力，提高搜索结果的准确性和覆盖面。
本页面主要介绍如何基于/index/search 接口用于实现稠密稀疏混合近邻检索。

稠密向量（Dense Vector）

• 定义：

稠密向量是由模型（如doubao-embedding）生成的高维向量，通常通过深度学习模型从文本、图像或其他数据中提取语义特征。向量的每个维度都有非零值。

• 特点：
  • 通过语义理解捕获隐含关系，适合语义相似度计算。
  • 缺点：缺乏查找特定的关键字或短语的能力，对 Embedding 模型能力依赖性较强。例如检索语句是“最新电子产品评测”，如果文档中写的是“这里有各类最新上架的电子产品的详细介绍与相关的用户评测”，可能因语义理解偏差而未能准确关联。
  • 例如：[1.2, 2.4, 3.7, 4.8]
• 应用场景：
  • 语义搜索：查找与查询语句语义相似的文档，即使不包含完全相同的关键词。
  • 推荐系统：根据用户的兴趣生成稠密向量，匹配相关内容。

稀疏向量（Sparse Vector）

• 定义：

稀疏向量是一个高维向量，其中大多数维度为零，通常由词袋模型生成，基于显式的关键词表示。

• 特点：
  • 解释性更强，捕获关键词的明确存在或缺失。
  • 缺点：难以捕捉更丰富、细腻的语义及相似性。例如，检索语句为“红色的漂亮苹果”，若文档中写的是“色泽艳丽的红苹果非常好看”，可能因未精准匹配“红色”“漂亮”这两个具体关键词而被错过。
  • 例如：{"什么":0.34, "是":0.76, "稀疏向量":0.98}
• 应用场景：
  • 精准关键词匹配：适用于检索明确包含特定关键词的文档。
  • 法律文档、专利文献等领域：需要精确定位关键词出现的位置和频率。

最简洁的稠密稀疏混合检索可通过配置search接口下的order_by_vector参数来实现，在 order_by_vector 参数下写入待检索的稠密和稀疏向量，并使用 dense_weight 子参数调整稠密向量权重。如果输入了多个查询，会对输入的查询依次做检索并返回多组检索结果。请求参数如下：

在下面的示例中，假设 Collection 已经存放了如下 10 条数据。每条数据都有 id, vector, name,city, salary这几个字段。

{"id":"1","vector":[0.12,0.98,0.45,...,0.33,0.77],"name":"Alice","city":"New York","salary":85000}
{"id":"2","vector":[0.55,0.22,0.91,...,0.14,0.68],"name":"Bob","city":"San Francisco","salary":120000}
{"id":"3","vector":[0.31,0.44,0.27,...,0.88,0.15],"name":"Charlie","city":"Chicago","salary":78000}
{"id":"4","vector":[0.66,0.39,0.72,...,0.58,0.23],"name":"Diana","city":"London","salary":95000}
{"id":"5","vector":[0.09,0.81,0.34,...,0.47,0.56],"name":"Ethan","city":"Toronto","salary":91000}
{"id":"6","vector":[0.48,0.29,0.67,...,0.12,0.99],"name":"Fiona","city":"Sydney","salary":104000}
{"id":"7","vector":[0.25,0.73,0.58,...,0.46,0.31],"name":"George","city":"Berlin","salary":83000}
{"id":"8","vector":[0.94,0.16,0.39,...,0.85,0.02],"name":"Hannah","city":"Paris","salary":98000}
{"id":"9","vector":[0.53,0.67,0.41,...,0.29,0.76],"name":"Ian","city":"Tokyo","salary":89000}
{"id":"10","vector":[0.77,0.51,0.24,...,0.63,0.40],"name":"Julia","city":"Singapore","salary":115000}

• 输入用于检索的稠密和稀疏向量，在数据集中查找与之最相似的向量数据：

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
    "collection_name": "test_name",
    "index_name": "index_test",
    "search": {
        "order_by_vector": {
            "vectors": [      //用于检索的稠密向量
                [0.1, 0.2, 0.3......0.9], 
                [0.01, 0.02, 0.03......0.09],
            ],  
            "sparse_vectors": [     //用于检索的稀疏向量
                {"什么": 0.34, "是": 0.03, "B": 0.11, "M":0.32, "25": 0.03}, 
                {"一": 0.08, "种": 0.14, " 信息": 0.19, " 检索": 0.63, " 算法":0.97} 
            ]     
        }, 
        "dense_weight": 0.5,     //稠密向量权重
    }
}
}'

执行成功返回：

{
        "code": 0,
        "data": [[{
                "fields": {
                        "city": "San Francisco",
                        "id": 2,
                        "name": "Bob",
                        "salary": 120000
                },
                "id": 2,
                "score": 0.014051437377929688
        },
        {
                "fields": {
                        "city": "New York",
                        "id": 1,
                        "name": "Alice",
                        "salary": 85000
                },
                "id": 1,
                "score": 0.0021637678146362305
        }]],
        "message": "success",
        "request_id": "02174798250298600000000000000000000ffff0a00788a5b38be"
}

如果在创建索引时划分了子索引 partition，并且查询目标可以具体到其中的一个 partition，可以在检索时指定在特定partiton中进行检索，从而减少扫描的数据量，提高检索速度。
在基础向量检索的基础上，通过配置search接口下的partition参数可以实现对特定子索引的检索：

假设在创建索引时设置了city字段为子索引字段，根据city字段的取值将数据集划分成了不同的子数据集，现在想对名为London的partiton进行检索，可以通过如下方式实现：

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
    "collection_name": "test_name",    //用于检索的集合的名称
    "index_name": "index_test",    //用于检索的索引名称
    "search": {
        "order_by_vector": {   //用于检索的向量列表
            "vectors": [
                [0.1, 0.2, 0.3......0.9], 
                [0.01, 0.02, 0.03......0.09]
            ],
            "sparse_vectors": [    
                {"什么": 0.34, "是": 0.03, "B": 0.11, "M":0.32, "25": 0.03}, 
                {"一": 0.08, "种": 0.14, " 信息": 0.19, " 检索": 0.63, " 算法":0.97} 
            ]          
        },
        "partiton": "London"
        }
}'

检索过滤是指在向量相似度检索过程中，结合结构化的元数据（如数值、布尔值、字符串等）对候选数据进行筛选的过程。这种过滤可以提高检索结果的相关性和精度。
检索过滤为可选能力，需要配合基础的向量检索能力使用，可以配置一种或多种检索过滤方式。

标量过滤

标量过滤检索是指在向量数据库中，同时使用向量检索和标量检索两种方法进行检索。在标量过滤检索中，使用向量检索来匹配向量的相似度，同时使用标量检索来匹配向量的标量值。
在基础向量检索的基础上，可以通过配置search接口下的filter参数来实现对检索结果的标量过滤，详细的使用方法参考标量过滤。

主键过滤

主键过滤是指在向量检索时，仅对指定主键值数据执行近邻搜索，从而有效缩小检索范围并提升性能与准确度
在基础向量检索的基础上，可以通过配置search接口下的 primary_key_in/primary_key_not_in 子参数对特定主键值的数据进行检索，详细的使用方法参考主键过滤。

后置过滤

后置过滤是 VikingDB 提供的一种检索后处理能力，用于在向量召回之后，对候选数据进行进一步的过滤和优化，确保最终返回的搜索结果更加精准、高效。VikingDB 提供了以下几种后置过滤能力：

• **正则表达式匹配：**利用正则表达式对字符串字段进行模式匹配的过滤方式。适用于需要进行复杂字符串匹配的场景。
• **关键词匹配：**一种基于字符串字段内容进行子串匹配的过滤方式。它允许用户查找字段中包含特定关键词或字符的数据记录。
• **频控：**用于保证一次召回的结果中, 一个特定取值出现的总数不超过特定值。

在基础向量检索的基础上，可以通过配置search接口下的 post_process_ops和post_process_input_limit配置后置过滤能力，详细的使用方法详见后置处理算子。

输出字段选择

通过配置search接口下的 output_fields子参数可以限制检索结果只返回指定的字段:

例如希望在返回结果中只保留“name”字段：

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
        "collection_name": "test_name",
        //用于检索的集合的名称
        "index_name": "index_test",
        //用于检索的索引名称
        "search": {
                "order_by_vector": { 
                        "vectors": [[0.1, 0.2, 0.3......0.9], [0.01, 0.02, 0.03......0.09]],
                        "sparse_vectors": [    
                        {"什么": 0.34, "是": 0.03, "B": 0.11, "M":0.32, "25": 0.03}, 
                        {"一": 0.08, "种": 0.14, " 信息": 0.19, " 检索": 0.63, " 算法":0.97} 
            ] 
                },
                "output_fields": ['name']
        }
}'

分页查询

分页能力通过在检索请求中指定 offset 和 limit参数，将结果分批返回，在降低单次响应延迟的同时便于前端交互和资源管理

例如指定返回10个结果：

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
        "collection_name": "test_name",
        //用于检索的集合的名称
        "index_name": "index_test",
        //用于检索的索引名称
        "search": {
                "order_by_vector": { //用于检索的向量列表
                        "vectors": [[0.1, 0.2, 0.3......0.9], [0.01, 0.02, 0.03......0.09]],
                        "sparse_vectors": [    
                        {"什么": 0.34, "是": 0.03, "B": 0.11, "M":0.32, "25": 0.03}, 
                        {"一": 0.08, "种": 0.14, " 信息": 0.19, " 检索": 0.63, " 算法":0.97}
                },
                "limit": 2, # 每页返回 2 条结果
                "offset": 4 # 跳过前 4 条结果,获取第三页结果
        }
}'

状态码说明

请求消息

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
    "collection_name": "test_name",    //用于检索的集合的名称
    "index_name": "index_test",    //用于检索的索引名称
    "search": {
        "order_by_vector": {   //待检索的向量列表
            "vectors": [
                [0.1, 0.2, 0.3......0.9], 
                [0.01, 0.02, 0.03......0.09],
            ], 
            "sparse_vectors": [    
                        {"什么": 0.34, "是": 0.03, "B": 0.11, "M":0.32, "25": 0.03}, 
                        {"一": 0.08, "种": 0.14, " 信息": 0.19, " 检索": 0.63, " 算法":0.97}]        
        }, 
        "partiton": "London"，//指定partition，
        "filter": {
                        "op": "range",
                        "field": "salary",
                        "gte": 10000
                }，
         "post_process_ops": {
                        "op": "string_contain",
                        "field": "name",
                        "pattern": "s"
                }，
          "output_fields": ['name']，
          "limit": 2, # 每页返回 2 条结果
          "offset": 4 # 跳过前 4 条结果,获取第三页结果
        }
}
}'

响应消息

执行成功返回：

HTTP/1.1 200 OK
Content-Length: 43
Content-Type: application/json
 
{
    "code":0,
    "msg":"search success",
    "request_id":"021695029537650fd001de666660000000000000000000230da93",
    "data": [
        [
            {
                "id": 1,
                "score": 0.99,
                "fields": {
                    "name": "Alice"
                } 
            },
            {
                "id": 2,
                "score": 0.98,
                "fields": {
                    "name": "Fiona"
                } 
            }
        ],
        [
            {
                "id": 9,
                "score": 0.95,
                "fields": {
                    "name": "Charlie"
                } 
            },
            {
                "id": 8,
                "score": 0.84,
                "fields": {
                    "name": "Ethan"
                } 
            }            
        ]
    ]
}

执行失败返回：

HTTP/1.1 400 OK
Content-Length: 43
Content-Type: application/json
 
{"code":1000008, "msg":"index not exist", "request_id":"021695029736548fd001de66666000000000000000000029aa917"}