You need to enable JavaScript to run this app.
数据智能体 DataAgent(私有化)

数据智能体 DataAgent(私有化)

复制全文
数据处理
AI-向量化模型
复制全文
AI-向量化模型

功能概述

AI-向量化模型可以将文本、图片等非结构化数据转换为机器可理解的数字向量,是连接非结构化数据与下游 AI 应用(尤其是检索、问答、推荐等场景)的关键“桥梁”。本文将为你介绍如何使用向量化模型算子。

算子介绍

Doubao文本向量化

Doubao文本向量化算子可以将文本转化为表达文本语义的向量(支持中英文双语),并通过计算向量计算出文本之间语义差距。在检索、个性化推荐、智能对话等场景进行文本的分类、聚类、检索、生成等自然语言处理任务。
Image

  1. 点击+,选择AI-向量化模型>Doubao文本向量化算子。

  2. 设置模型信息:选择模型,支持选择高级配置里设置的已有模型或选择自定义模型。自定义模型需要模型调用地址、推理接入点、API key。
    Image

    参数

    配置说明

    模型

    默认自定义模型

    模型调用地址

    应用的调用地址

    推理接入点

    一般格式为ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点

    API Key

    一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置

  3. 配置向量化相关信息。
    Image

    参数

    说明

    输入字段

    选择需要向量化的一个或多个输入字段,可选择上游的输出字段。

    向量化格式

    下拉单选,可选择float、base64 2个选项,默认选择float。

    维度

    下拉单选,可选2560、2048、1024、786、512。

    自定义参数

    支持设置自定义参数,包括参数值和参数名。

  4. 设置高级设置里的相关参数。
    Image

    参数

    配置说明

    并行度

    请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。

    超时时间

    大模型计算超时时间,单位为毫秒ms

    重试次数

    请求失败时的自动重试次数,单位为次

    请求间隔

    大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms

    说明

    设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下
    Image

    补全异常处理

    • 终止任务:如果推理失败会导致任务失败,并清除中间结果
    • 忽略异常:宽容模式,忽略推理失败的数据,使用null填充,保留推理成功的结果
  5. 配置输出。
    Image

    • 输出字段:用户自定义输出字段名,字段类型默认是array字段类型,一串向量。
    • 该算子的输出=上个节点的输出字段+本算子新增的向量化结果字段。

Doubao多模态向量化模型

支持文本、图片及视频(部分模型支持)混合输入的向量化技术。该模型能够将不同类型的数据转换成向量表示,适用于文搜图、图搜图、图文混合搜索等场景。通过 Doubao-embedding-vision 模型,用户可以实现多模态数据的统一向量化,便于处理和分析跨模态数据,以实现更高效的信息检索和数据分析。
Image

  1. 点击+,选择AI-向量化模型>Doubao多模态向量化算子。

  2. 设置模型信息:选择模型,支持选择高级配置里设置的已有模型或选择自定义模型。自定义模型需要模型调用地址、推理接入点、API key。
    Image

    参数

    配置说明

    模型

    默认自定义模型

    模型调用地址

    应用的调用地址

    推理接入点

    一般格式为ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点

    API Key

    一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置

  3. 配置向量化相关信息。
    Image

    参数

    说明

    输入模式

    单选,可选content或file。

    输入字段

    下拉单选,可选择上游的输出字段,只可选择string、array类型的字段。

    向量化格式

    下拉单选,可选择float、base64 2个选项,默认选择float。

    向量维度

    下拉单选,可选2048、1024,默认选择2048。

  4. 设置高级设置里的相关参数。
    Image

    参数

    配置说明

    并行度

    请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。

    超时时间

    大模型计算超时时间,单位为毫秒ms

    重试次数

    请求失败时的自动重试次数,单位为次

    请求间隔

    大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms

    说明

    设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下
    Image

    补全异常处理

    • 终止任务:如果推理失败会导致任务失败,并清除中间结果
    • 忽略异常:宽容模式,忽略推理失败的数据,使用null填充,保留推理成功的结果
  5. 配置输出。
    Image

    • 用户自定义输出字段名,字段类型默认是array字段类型,一串向量。
    • 该算子的输出=上个节点的输出字段+本算子新增的向量化结果字段。

Qwen文本向量化模型

将文本转化为表达文本语义的向量,并通过计算向量计算出文本之间语义差距。在检索、个性化推荐、智能对话等场景进行文本的分类、聚类、检索、生成等自然语言处理任务。
Image

  1. 点击+,选择AI-向量化模型>Qwen文本向量化模型算子。

  2. 设置模型信息:选择模型,支持选择高级配置里设置的已有模型或选择自定义模型。自定义模型需要模型调用地址、推理接入点、API key。
    Image

    参数

    配置说明

    模型

    默认自定义模型

    模型调用地址

    应用的调用地址

    推理接入点

    一般格式为ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点

    API Key

    一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置

  3. 配置向量化相关信息。
    Image

    • 输入字段:下拉单选,可选择上游的输出字段,只可选择string、array类型的字段。
    • 向量化格式:下拉单选,只可选择float、默认选择float。
    • 向量维度:支持如图所示的向量维度,不同模型支持的默认向量维度不一致,此处要不收口在自定义参数中。
  4. 设置高级设置里的相关参数。
    Image

    参数

    配置说明

    并行度

    请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。

    超时时间

    大模型计算超时时间,单位为毫秒ms

    重试次数

    请求失败时的自动重试次数,单位为次

    请求间隔

    大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms

    说明

    设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下
    Image

    补全异常处理

    • 终止任务:如果推理失败会导致任务失败,并清除中间结果
    • 忽略异常:宽容模式,忽略推理失败的数据,使用null填充,保留推理成功的结果
  5. 配置输出。
    Image

    • 用户自定义输出字段名,字段类型默认是array字段类型,一串向量。
    • 该算子的输出=上个节点的输出字段+本算子新增的向量化结果字段。

Qwen多模态向量化模型

多模态向量化模型,模型根据用户的输入生成连续向量,这些输入可以是文本、图片或视频。适用于视频分类、图像分类、图文检索,以文/图搜图,以文/图搜视频等任务场景。
Image

  1. 点击+,选择AI-向量化模型>Qwen多模态向量化模型算子。

  2. 设置模型信息:选择模型,支持选择高级配置里设置的已有模型或选择自定义模型。自定义模型需要模型调用地址、推理接入点、API key。
    Image

    参数

    配置说明

    模型

    默认自定义模型

    模型调用地址

    应用的调用地址

    推理接入点

    一般格式为ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点

    API Key

    一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置

  3. 配置向量化相关信息。
    Image

    参数

    说明

    输入模式

    有两种模式,可选择content或者file。

    输入字段

    下拉单选,可选择上游的输出字段,只可选择string、array类型的字段。

    向量化格式

    下拉单选,只可选择float、默认选择float。

    向量维度

    支持如图所示的向量维度,不同模型支持的默认向量维度不一致,此处要不收口在自定义参数中。

  4. 设置高级设置里的相关参数。
    Image

    参数

    配置说明

    并行度

    请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。

    超时时间

    大模型计算超时时间,单位为毫秒ms

    重试次数

    请求失败时的自动重试次数,单位为次

    请求间隔

    大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms

    说明

    设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下
    Image

    补全异常处理

    • 终止任务:如果推理失败会导致任务失败,并清除中间结果
    • 忽略异常:宽容模式,忽略推理失败的数据,使用null填充,保留推理成功的结果
  5. 配置输出。
    Image

    • 用户自定义输出字段名,字段类型默认是array字段类型,一串向量。
    • 该算子的输出=上个节点的输出字段+本算子新增的向量化结果字段。

BGE-M3文本向量化模型

BGE-M3是一款 “多语言、多功能、多粒度” 统一文本嵌入模型,基于XLM-RoBERTa优化,同时支持稠密、稀疏、多向量三种检索范式,覆盖100+语种,可处理短句至8192 token长文档,在C-MTEB/MTEB多语言榜单持续领跑。
Image

  1. 点击+,选择AI-向量化模型>BGE-M3文本向量化模型算子。

  2. 设置模型信息:选择模型,支持选择高级配置里设置的已有模型或选择自定义模型。自定义模型需要模型调用地址、推理接入点、API key。
    Image

    参数

    配置说明

    模型

    默认自定义模型

    模型调用地址

    应用的调用地址

    推理接入点

    一般格式为ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点

    API Key

    一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置

  3. 配置向量化相关信息。
    Image

    参数

    说明

    输入字段

    下拉单选,可选择上游的输出字段,只可选择string、array类型的字段。

    向量化格式

    下拉单选,只可选择float、默认选择float。

    向量维度

    支持如图所示的向量维度,不同模型支持的默认向量维度不一致,此处要不收口在自定义参数中。

    自定义参数

    支持用户自定义参数,需设置参数名和参数值。

  4. 设置高级设置里的相关参数。
    Image

    参数

    配置说明

    并行度

    请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。

    超时时间

    大模型计算超时时间,单位为毫秒ms

    重试次数

    请求失败时的自动重试次数,单位为次

    请求间隔

    大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms

    说明

    设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下
    Image

    补全异常处理

    • 终止任务:如果推理失败会导致任务失败,并清除中间结果
    • 忽略异常:宽容模式,忽略推理失败的数据,使用null填充,保留推理成功的结果
  5. 配置输出。
    Image

    • 您可以自定义输出字段名,字段类型默认是array字段类型。
    • 该算子的输出=上个节点的输出字段+本算子新增的向量化结果字段。
最近更新时间:2026.03.25 17:01:56
这个页面对您有帮助吗?
有用
有用
无用
无用