searchWithMultiModal 用于多模态数据检索。多模态数据检索是指向量数据库支持直接通过图文等多模态数据类型进行检索,且支持模态的组合,如文搜图,图搜图,图搜文+图等。
说明
请求参数是 SearchWithMultiModalParam,SearchWithMultiModalParam 实例包含的参数如下表所示。
参数 | 类型 | 是否必选 | 默认值 | 参数说明 |
---|---|---|---|---|
text | string | text 和 image 参数至少需选取其中一个 | None | 检索的输入文本。 |
image | string | text 和 image 参数至少需选取其中一个 | None | 检索的输入图片,当前支持2种方式:
|
filter | map | 否 | 过滤条件,详见标量过滤。
| |
limit | int | 否 | 10 | 检索结果数量,最大5000个。 |
denseWeight | float | 否 | 0.5 | 对于混合检索,dense_weight 用于控制稠密向量在检索中的权重。范围为[0.2,1]。仅在检索的索引为混合索引时有效。 |
outputFields | list<string> | 否 | 过滤字段,指定要返回的标量或向量字段列表。
如果索引的距离方式为cosine,向量字段返回的向量是归一化后的向量。 | |
partition | string/int | 否 | "default" | 子索引名称,类型与 partitionBy 的 fieldType 一致,字段值对应 partitionBy 的 fieldValue。
|
needInstruction | bool | 否 | 由模型默认值决定,豆包系列模型默认为true,其他模型默认为false | 用于多模态检索场景,对 query 做向量化时是否在 query 前增加 instruction。 |
//获取指定索引,程序初始化时调用即可,无需重复调用 Index index = vikingDBService.getIndex("test_text", "test_index_text");
// 执行多模态搜索,输入文本和图片 List<DataObject> datas = index.searchWithMultiModal(new SearchWithMultiModalParam() .setText("1") // 设置文本输入为 "1" .setImage("tos://your_bucket/your_object") // 设置图片输入为存储在指定路径的图片 .build()); // 输出搜索结果 System.out.println(datas);
Java 调用执行上面的任务,返回 List<DataObject> 。DataObject 实例包含的属性如下表所示。
属性 | 说明 |
---|---|
id | 主键 id。 |
fields | 请求返回中的 fields 字段,是具体的数据,map 类型。 |
score | 表示找到的向量和输入的向量的匹配程度。 |
text | 文本非结构化检索时返回。 |