本文介绍了如何通过边缘大模型网关调用您自己私有化部署的模型。

背景信息

“自部署模型”指您在自己管控的算力环境中私有化部署的模型，一般通过内网或公网提供服务。“自部署模型”与“三方模型提供商模型”都属于自有三方模型，两者的区别如下表所示。

模型服务代理

对于仅支持内网访问的自部署模型，边缘大模型网关提供了基于远程访问代理的内网穿透方案。您需要在本地或局域网内服务器上运行指定的代理工具（详见步骤2），以将内网中的模型服务暴露给边缘大模型网关。

操作流程

要通过边缘大模型网关调用您的自部署模型，需要完成以下配置：

1. 添加模型
2. 创建调用渠道
3. 创建网关访问密钥
4. 获取示例代码

步骤1：添加模型

将您的自部署模型添加到边缘大模型网关。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。

3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后单击 添加模型。

4. 在 添加模型 对话框，完成以下参数配置，然后单击 确定。

   • 模型名称：为模型设置一个显示名称。
   • 调用名称：为模型设置一个标识符。只能使用字母、数字和下划线（_）。

     说明

     通过边缘大模型网关接口调用该模型时，模型调用请求中的 model 参数需传入您设置的模型标识符。

   • 模型系列：选择模型所属系列。
   • 提供商：仅支持 自部署模型。
   • 模型格式：仅支持 OpenAI。
   • 模型类型：选择模型的类型。
     模型类型决定了模型的用量计量方式。您可以在类型选项上查看对应的计量方式（如 Chat 类型对应于 Token用量）。支持多选，但只允许选择用量计量方式相同的多个类型。

步骤2：创建调用渠道

边缘大模型网关通过调用渠道访问您的自部署模型。为了建立这个渠道，您需要提供自部署模型的调用密钥。有了密钥，边缘大模型网关才能够顺利访问和调用自部署模型。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。
3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后找到要使用的模型，单击 操作 列的 创建调用渠道。
4. 在 创建调用渠道 对话框，完成以下参数配置，然后单击 确定。
   
   • 渠道名称：为调用渠道设置一个显示名称。
   • 模型调用密钥：输入您在部署模型时设置的密钥。
   • 模型代理方式：选择一种访问代理模式。可选项：

     • 本机服务代理：适用于模型服务部署在本地计算机，只支持内网访问。该模式表示通过代理本地模型服务实现内网穿透，使本地模型服务可通过边缘大模型网关的公网域名远程访问。
       若选择该模式，

       • 需要设置 本地端口号（指模型服务的端口）。
       • 在调用渠道创建成功后，您还必须在本地计算机上运行指定的代理工具。详情参见安装代理工具。

     • 本地局域网服务代理：适用于模型服务部署在本地局域网内的某台服务器，只支持内网访问。该模式表示通过代理局域网内模型服务实现内网穿透，使局域网内模型服务可通过边缘大模型网关的公网域名远程访问。
       若选择该模式，

       • 需要设置 IP地址（指模型服务器的内网 IP 地址） 和 端口号（指模型服务的端口）。
       • 在调用渠道创建成功后，您还必须在模型服务所在局域网内的任意一台服务器上运行指定的代理工具。详情参见安装代理工具。

     • 域名代理：适用于通过公网域名访问模型服务的情形。
       若选择该模式，

       • 需要设置 公网域名。公网域名必须是 OpenAI 兼容的 base url，例如 https://dashscope.aliyuncs.com/compatible-mode/v1。

在自部署模型列表，调用渠道 数字表示一个自部署模型下已创建的调用渠道的数量。
以上操作完成后，相应自部署模型的 调用渠道 数量会增加。您可以单击 调用渠道 数字，查看和管理（如编辑、删除）自部署模型下已添加的调用渠道。

安装代理工具（适用于本机服务代理或本地局域网代理模式）

如果调用渠道中的 模型代理方式 是 本机服务代理 或 本地局域网代理，您必须在调用渠道创建成功后安装代理工具，否则边缘大模型网关无法访问您的模型。

• 本机服务代理 模式

  参照以下步骤在本地计算机上安装并运行代理工具：

  1. 单击 调用渠道 数字。

  2. 在 调用渠道 面板，单击 本机服务代理 页签。

  3. 找到调用渠道，单击 操作 列的 获取代理工具。

  4. 在弹出的 获取代理工具 提示框，单击 复制。
     

  5. 在本地计算机上打开命令行工具，运行复制的命令。

• 本地局域网服务代理 模式

  参照以下步骤在模型服务所在局域网内的任意一台服务器上安装并运行代理工具：

  1. 单击 调用渠道 数字。
  2. 在 调用渠道 面板，单击 本地局域网服务代理 页签。
  3. 找到调用渠道，单击 操作 列的 获取代理工具。
  4. 在弹出的 获取代理工具 提示框，单击 复制。
  5. 在局域网内任意一台服务器上打开命令行工具，运行复制的命令。

步骤3：绑定调用渠道到网关访问密钥

要访问边缘大模型网关 API，您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥，您就可以在使用此网关访问密钥时，选择指定模型作为被调用对象。

1. 登录边缘大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 大模型管理。
3. 在 自有三方模型 标签页，单击 自部署模型 标签，然后找到要使用的模型，单击 操作 列的 创建网关访问密钥。
4. 完成 创建网关访问密钥 配置向导。
   您可以参考创建网关访问密钥完成相关配置。需要注意的是，在 模型选择 区域，选择您创建的模型调用渠道，将它绑定到网关访问密钥。将 提供商 设置为 自部署模型，可以筛选出可用的自部署模型调用渠道。
   

步骤4：使用网关访问密钥

当您的网关访问密钥绑定了自部署模型调用渠道，您在获取此网关访问密钥对应的示例代码时，就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后，您的边缘大模型网关请求将触发指定模型调用。

具体操作，请参见使用网关访问密钥。需要注意的是，当您查看示例代码时，在 选择模型 中选择您的 自部署模型。