searchWithMultiModal--向量数据库VikingDB-火山引擎

文档中心

立即注册

导航

searchWithMultiModal

最近更新时间：2025.04.12 14:53:16首次发布时间：2025.02.28 23:20:33

概述

searchWithMultiModal 用于多模态数据检索。多模态数据检索是指向量数据库支持直接通过图文等多模态数据类型进行检索，且支持模态的组合，如文搜图，图搜图，图搜文+图等。

说明

当前支持文本、图片类型的非结构化数据。
Collection 数据写入/删除后，Index 数据更新时间预计20s，不能立即在 Index 检索到。

前提条件

从控制台选择了从向量化开始的数据库类型，并在创建数据集时配置了向量化字段；或通过 create_collection 接口创建数据集时，通过设置 vectorize 参数配置了 Collection 的向量化功能。
通过 upsert_data 接口写入数据时，已写入 text或image 类型的字段名称和字段值。
通过 create_index 创建索引时，已创建 vector_index 向量索引。

请求参数

请求参数是 SearchWithMultiModalParam，SearchWithMultiModalParam 实例包含的参数如下表所示。

参数	类型	是否必选	默认值	参数说明
text	string	text 和 image 参数至少需选取其中一个	None	检索的输入文本。
image	string	text 和 image 参数至少需选取其中一个	None	检索的输入图片，当前支持2种方式：图片tos链接。`tos://{bucket}/{object_key}`。 base64字符串。`base64://{Base64编码}`。
filter	map	否		过滤条件，详见标量过滤。默认为空，不做过滤。过滤条件包含 must、must_not、range、range_out四类查询算子，包含 and 和 or 两种对查询算子的组合。
limit	int	否	10	检索结果数量，最大5000个。
denseWeight	float	否	0.5	对于混合检索，dense_weight 用于控制稠密向量在检索中的权重。范围为[0.2，1]。仅在检索的索引为混合索引时有效。
outputFields	list<string>	否		过滤字段，指定要返回的标量或向量字段列表。 outputFields 不传时，返回所有的标量字段，不返回向量字段。 outputFields 为空列表时，不返回 fields 字段。 outputFields 格式错误或者过滤字段不是 collection 里的字段时, 接口返回错误。如果索引的距离方式为cosine，向量字段返回的向量是归一化后的向量。
partition	string/int	否	"default"	子索引名称，类型与 partitionBy 的 fieldType 一致，字段值对应 partitionBy 的 fieldValue。 fieldType 为 int64，list<int64> 时，partition 输入类型为 int64。 fieldType 为 string，list<string> 时，partition 输入类型为 string，格式要求 "^[a-zA-Z0-9._]+$"。
needInstruction	bool	否	由模型默认值决定，豆包系列模型默认为true，其他模型默认为false	用于多模态检索场景，对 query 做向量化时是否在 query 前增加 instruction。

示例

请求参数

//获取指定索引，程序初始化时调用即可，无需重复调用
Index index = vikingDBService.getIndex("test_text", "test_index_text");

// 执行多模态搜索，输入文本和图片 
List<DataObject> datas = index.searchWithMultiModal(new SearchWithMultiModalParam() 
    .setText("1")  // 设置文本输入为 "1"
    .setImage("tos://your_bucket/your_object")  // 设置图片输入为存储在指定路径的图片 
    .build()); 

// 输出搜索结果
System.out.println(datas);

返回值

Java 调用执行上面的任务，返回 List<DataObject> 。DataObject 实例包含的属性如下表所示。

属性	说明
id	主键 id。
fields	请求返回中的 fields 字段，是具体的数据，map 类型。
score	表示找到的向量和输入的向量的匹配程度。
text	文本非结构化检索时返回。