本文介绍了如何通过边缘大模型网关调用您自己私有化部署的模型。

背景信息

“自部署模型”指您在自己管控的算力环境中私有化部署的模型，一般通过内网或公网提供服务。“自部署模型”与“三方模型提供商模型”都属于自有三方模型，两者的区别如下表所示。

模型服务代理

对于仅支持内网访问的自部署模型，边缘大模型网关提供了基于远程访问代理的内网穿透方案。您需要在本地或局域网内服务器上运行指定的代理工具（详见步骤2），以将内网中的模型服务暴露给边缘大模型网关。

操作流程

要通过边缘大模型网关调用您的自部署模型，需要完成以下配置：

1. 添加模型
2. 创建调用渠道
3. 创建网关访问密钥
4. 获取示例代码

步骤1：添加模型

将您的自部署模型添加到边缘大模型网关。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。
3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后单击 添加模型。
4. 在 添加模型 对话框，完成以下参数配置，然后单击 确定。
   

   • 模型名称：为模型设置一个显示名称。

   • 调用名称：为模型设置一个标识符。只能使用字母、数字和下划线（_）。

     说明

     通过边缘大模型网关接口调用该模型时，模型调用请求中的 model 参数需传入您设置的模型标识符。

   • 模型系列：选择模型所属系列。

   • 提供商：仅支持 自部署模型。

   • 模型格式：仅支持 OpenAI。

   • 模型类型：选择模型的类型。可选项：

     • Chat（对话）
     • Multimodal（多模态）
     • FunctionCall（函数调用）
     • Embedding（向量化）
     • Realtime（实时）
     • Reasoning（推理）
     • TextToImage（文生图）
     • Speech（语音合成）：选择该类型后，还需完成 Speech 类型专属配置
     • Audio（语音识别）：选择该类型后，还需完成 Audio 类型专属配置

     不同类型的模型采用不同的用量计量方式。您可以在类型选项上查看对应的计量方式（如 Chat 类型对应于 Token用量）。支持多选，但只能选择用量计量方式相同的多个类型。

Speech 类型专属配置

当 模型类型 为 Speech（语音合成） 时，会出现 参数配置。参数配置用于定义该语音合成模型所能支持的音频规格范围。具体包含以下参数：

• 采样率（Hz）：
  您可以输入模型支持的一个或多个采样率数值。每个数值请输入一个正整数，输入后按回车键确认。最多允许配置10个不同的采样率值。

• 位深：
  选择模型能够处理的音频位深度。仅支持16位。

• 通道数：
  选择模型能够处理的音频通道数量。可选值：1 (单声道)、2 (立体声)。

• 集成方式：
  指定网关在转发 HTTP 协议的自部署 TTS 模型请求时的处理逻辑。可选值：

  • 攒句后合成：此方式旨在平衡响应延迟和语音合成的连贯性。具体逻辑如下：
    为了尽快返回第一个语音包，网关会根据用户输入文本的第一个短分句标点（如逗号）进行切分，并立即发送给自部署模型进行合成。之后，网关会以完整的句子（根据句号、问号等完整句子标点）为单位进行切分和合成。如果单个句子过长，为了保证合成的流畅性，网关会按适宜的长度，使用短分句标点进行切分。
  • 按短句合成：此方式优先保证实时性。网关不进行攒句，而是将每个分句（无论是短分句还是完整句子）都立即发送给自部署模型。虽然这种方式响应迅速，但在某些场景下，可能会导致合成语音在句子间的语调和情感上缺乏连贯性。

  两种集成方式各有优劣，您需要根据自部署模型的具体时延和语音合成效果来选择最适合的方案。

服务端处理逻辑说明

当客户端通过 API（具体为 session.update 事件）请求建立连接并传入其期望的音频规格参数（例如，客户端希望使用特定采样率）时，服务端会进行如下判断：

1. 参数校验：检查客户端传入的音频规格（如采样率、位深、通道数）是否在您上述配置的允许范围内。
2. 规格采用：
   • 若在范围内：服务端将采纳客户端指定的规格作为当前连接的音频参数。
   • 若不在范围内：服务端会从您配置的允许规格中自动选择一个作为当前连接的音频参数。
3. 参数通知：无论最终采用的是客户端指定的规格还是服务端选择的规格，服务端都会通过 session.updated 事件将最终确定的音频参数反馈给客户端。

Audio 类型专属配置

当 模型类型 为 Audio（语音识别） 时，会出现以下参数：

• 结果输出方式：
  • 全量输出：识别结束后，一次性返回所有识别结果。
  • 增量输出：在识别过程中，实时、逐步地返回识别结果。
• 是否支持vad：VAD（Voice Activity Detection，语音活动检测）用于检测音频流中是否存在语音。
  • 是：启用VAD功能。模型将自动检测并处理语音片段。
  • 否：禁用VAD功能。
• 默认前缀时长：仅当启用VAD功能时支持设置。设置音频流开始后，多长时间内必须检测到语音。如果在该时长内未检测到语音，则识别失败。单位为毫秒（ms）。
• 默认静音时长：仅当启用VAD功能时支持设置。设置在语音结束后，持续多长时间的静音状态后，认为本次识别结束。单位为毫秒（ms）。
• 默认激活阈值：仅当启用VAD功能时支持设置。设置VAD的激活阈值。取值范围为0到1。数值越高，表示对语音的判断标准越严格，即需要更明显的语音信号才能触发识别。

步骤2：创建调用渠道

边缘大模型网关通过调用渠道访问您的自部署模型。为了建立这个渠道，您需要提供自部署模型的调用密钥。有了密钥，边缘大模型网关才能够顺利访问和调用自部署模型。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。
3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后找到要使用的模型，单击 操作 列的 创建调用渠道。
4. 在 创建调用渠道 对话框，完成以下参数配置，然后单击 确定。
   
   • 渠道名称：为调用渠道设置一个显示名称。
   • 模型调用密钥：输入您在部署模型时设置的密钥。
   • 模型代理方式：选择一种访问代理模式。可选项：

     • 本机服务代理：适用于模型服务部署在本地计算机，只支持内网访问。该模式表示通过代理本地模型服务实现内网穿透，使本地模型服务可通过边缘大模型网关的公网域名远程访问。
       若选择该模式，

       • 需要设置 本地端口号（指模型服务的端口）。
       • 在调用渠道创建成功后，您还必须在本地计算机上运行指定的代理工具。详情参见安装代理工具。

     • 本地局域网服务代理：适用于模型服务部署在本地局域网内的某台服务器，只支持内网访问。该模式表示通过代理局域网内模型服务实现内网穿透，使局域网内模型服务可通过边缘大模型网关的公网域名远程访问。
       若选择该模式，

       • 需要设置 IP地址（指模型服务器的内网 IP 地址） 和 端口号（指模型服务的端口）。
       • 在调用渠道创建成功后，您还必须在模型服务所在局域网内的任意一台服务器上运行指定的代理工具。详情参见安装代理工具。

     • 域名代理：适用于通过公网域名访问模型服务的情形。
       若选择该模式，

       • 需要设置 公网域名。公网域名必须是 OpenAI 兼容的 base url，例如 https://dashscope.aliyuncs.com/compatible-mode/v1。

在自部署模型列表，调用渠道 数字表示一个自部署模型下已创建的调用渠道的数量。
以上操作完成后，相应自部署模型的 调用渠道 数量会增加。您可以单击 调用渠道 数字，查看和管理（如编辑、删除）自部署模型下已添加的调用渠道。

安装代理工具（适用于本机服务代理或本地局域网代理模式）

如果调用渠道中的 模型代理方式 是 本机服务代理 或 本地局域网代理，您必须在调用渠道创建成功后安装代理工具，否则边缘大模型网关无法访问您的模型。

• 本机服务代理 模式

  参照以下步骤在本地计算机上安装并运行代理工具：

  1. 单击 调用渠道 数字。

  2. 在 调用渠道 面板，单击 本机服务代理 页签。

  3. 找到调用渠道，单击 状态 列的 获取代理工具。

  4. 在弹出的 获取代理工具 提示框，单击 复制。
     

  5. 在本地计算机上打开命令行工具，运行复制的命令。

  等待命令运行完成，您可前往调用渠道面板查看连接 状态。当状态显示已连通，表示该调用渠道正常工作。

• 本地局域网服务代理 模式

  参照以下步骤在模型服务所在局域网内的任意一台服务器上安装并运行代理工具：

  1. 单击 调用渠道 数字。
  2. 在 调用渠道 面板，单击 本地局域网服务代理 页签。
  3. 找到调用渠道，单击 状态 列的 获取代理工具。
  4. 在弹出的 获取代理工具 提示框，单击 复制。
  5. 在局域网内任意一台服务器上打开命令行工具，运行复制的命令。

  等待命令运行完成，您可前往调用渠道面板查看连接 状态。当状态显示已连通，表示该调用渠道正常工作。

步骤3：绑定调用渠道到网关访问密钥

要访问边缘大模型网关 API，您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥，您就可以在使用此网关访问密钥时，选择指定模型作为被调用对象。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。
3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后找到要使用的模型，单击 操作 列的 创建网关访问密钥。
4. 完成 创建网关访问密钥 配置向导。
   您可以参考创建网关访问密钥完成相关配置。需要注意的是，在 模型选择 区域，选择您创建的模型调用渠道，将它绑定到网关访问密钥。将 提供商 设置为 自部署模型，可以筛选出可用的自部署模型调用渠道。
   

步骤4：使用网关访问密钥

当您的网关访问密钥绑定了自部署模型调用渠道，您在获取此网关访问密钥对应的示例代码时，就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后，您的边缘大模型网关请求将触发指定模型调用。

具体操作，请参见使用网关访问密钥。需要注意的是，当您查看示例代码时，在 选择模型 中选择您的 自部署模型。