网关访问密钥是您访问大模型网关的身份凭证,用于管理访问者的权限,如授权、鉴权、限流等。每个网关访问密钥有唯一的 API Key。要调用大模型网关 OpenAPI,您必须提供有效的 API Key。本文介绍了如何创建和管理网关访问密钥。
说明
调用第三方模型不会消耗免费请求额度,但会消耗您自有密钥的额度(这部分额度由第三方模型提供商进行计费)。
您已经完成账号实名认证。更多信息,请参见实名认证。
要使用大模型网关,您首先需要创建一个网关访问密钥。
创建网关访问密钥。
配置以下参数,然后单击 下一步。
类别 | 配置项 | 说明 |
---|---|---|
基本信息 | 名称 | 为网关访问密钥设置一个名称。 |
描述 | 为网关访问密钥添加描述。长度限制为 128 个字符以内。 | |
配置信息 | 模型配置 | 从模型列表选择与该网关访问密钥关联的模型。 说明 网关访问密钥创建成功后,您可以使用网关访问密钥来调用大模型网关的 OpenAPI,以访问网关访问密钥所关联的模型。若模型未与网关访问密钥关联,您将无法使用网关访问密钥访问对应模型。 可选择的模型包括:大模型网关预置的模型和您有访问授权的第三方模型。
注意 请选择与您的使用场景相匹配的模型,不同类型的模型处理能力不完全相同。例如,多模态模型(Multimodal)可以处理包含图片的请求,而对话模型(Chat)通常无法处理图片。 |
配置调用策略。
配置以下参数,然后单击 确定。
类别 | 配置项 | 说明 |
---|---|---|
调用策略 | 顺序设置 | 手动调整上一步选择的模型的顺序。顺序靠前的模型将被优先调用。 说明 请合理设置模型顺序。当一个多模态模型后面是一个对话模型时,可能导致故障切换机制失败。 |
重试次数 | 设置对单个模型请求的最大重试次数,取值范围为 0~3。 注意 请留意在不同模型提供商处的使用量。当发生故障切换、重试时,一个请求可能实际触发多次模型调用,导致使用量有所增加。 | |
缓存配置 | 缓存启用状态 | 启用缓存后,大模型网关会缓存来自模型提供商的响应。 |
缓存时长 | 仅在 缓存启用状态 打开时,该参数才会出现。 |
网关访问密钥创建成功后,您可以在列表中看到该网关访问密钥。
每个网关访问密钥有唯一的 API Key。在调用大模型网关 OpenAPI 时,您必须提供网关访问密钥的 API Key。
在网关访问密钥列表找到您的网关访问密钥,单击 操作 列的 查看密钥,可以查看和复制相应的 API Key。
注意
请务必妥善保管您的网关访问密钥 API Key。API Key 泄露会导致未经授权的使用,为您带来安全风险和资产损失!
在网关访问密钥列表找到您的网关访问密钥,单击 操作 列的 查看代码。查看代码 对话框将会出现。
该对话框提供了符合 OpenAI 接口请求规范的示例,包含 Curl、Python 示例。
根据您的需要,选择查看不同类型的示例代码。
使用示例代码前,注意以下内容:
model
参数值将自动替换成模型对应的值。$VEI_API_KEY
。$ENCRYPTED_INFO
替换成与大模型网关技术团队约定的加密文本。您可以在网关访问密钥详情中了解调用认证的相关配置。说明
调用认证功能现只开放白名单测试。只有白名单中的账号可以看到相关配置。如果您对该功能感兴趣,可以通过工单系统联系我们,了解详情。
每个网关访问密钥包含 2,000,000 tokens 的免费请求额度,仅适用于大模型网关预置模型调用;如果您调用的是第三方模型,则相应额度消耗由第三方模型提供商计费。
您可以大模型网关控制台查看网关访问密钥的额度消费统计。统计数据包含:
要查看网关访问密钥的额度消费统计: