本文介绍如何创建通用网关访问密钥。
通用网关访问密钥(简称“通用密钥”)包括后付费密钥和预付费密钥两种类型。
两种类型的通用密钥都提供免费资源额度,具体额度有差异。更多信息,请参见使用限制。
开始操作前,请确认要创建的通用密钥类型。
您已经注册火山引擎账号并完成实名认证。更多信息,请参见实名认证。
登录边缘大模型网关控制台。
在左侧导航栏,选择 网关访问密钥 > 通用密钥。
在 后付费密钥 标签页,单击 创建通用密钥。
在 边缘大模型网关后付费密钥 页面,完成以下操作:
订单提交成功后,您可以在通用密钥列表确认购买结果。如果列表中出现名为“边缘大模型网关后付费密钥<YYYYMMDD>”的密钥,则表示密钥创建成功。
完善密钥配置。
创建网关访问密钥
完成以下参数配置,然后单击 下一步:调用配置。
| 区域 | 配置项 | 说明 |
|---|---|---|
| 基本信息 | 名称 | 为网关访问密钥设置一个名称。支持中英文、数字、下划线(_)和连字符(-),长度限制为 32 个字符。 |
| 所属项目 | 选择 default (默认项目) 或其他自定义项目。 “项目”是火山引擎的资源管理工具,用于分组管理不同云产品下的资源,以便进行访问控制和账单分类。更多信息,请参见项目概述。 在边缘大模型网关中,网关访问密钥是可通过项目管理的资源。每个密钥都必须归属于一个项目。 | |
| 标签 | 为网关访问密钥绑定自定义标签。标签使用“键-值”对(Key-Value)标识资源,方便您在查询资源时进行过滤。 | |
| 描述 | 为网关访问密钥添加描述,长度限制为 128 个字符。 | |
模型选择 | -- | 添加与该密钥绑定的模型或智能体。只有绑定的模型或智能体才能通过该密钥调用。可绑定的模型或智能体来源如下:
说明
|
调用配置
完成以下参数配置,然后单击 确定。
| 区域 | 配置项 | 说明 |
|---|---|---|
调用策略 | 调用顺序 | 手动调整上一步选择的模型的顺序。前一个模型调用失败后,边缘大模型网关将依次调用后续模型,直到成功调用一个模型。如果所有模型都调用失败,则返回错误响应。 说明 请合理设置模型顺序。当一个多模态模型后面是一个对话模型时,可能导致故障切换机制不起作用。 |
重试次数 | 设置对一个模型进行调用的最大重试次数,取值范围为 0(不重试)~3。当一个模型调用失败后,边缘大模型网关将重新尝试调用此模型,直到重试次数耗尽。 注意 请留意在不同模型提供商处的使用量。当发生故障切换、重试时,一个请求可能实际触发多次模型调用,导致使用量有所增加。 | |
高级配置 | 缓存启用状态 | 启用缓存后,边缘大模型网关将缓存模型的调用结果。当收到相似请求时,网关会直接从缓存中返回结果,以缩短响应时间、降低调用成本。
|
| 缓存时长 | 仅在 缓存启用状态 开启时,该参数才会出现。设置缓存的保留时长。一旦超过指定时长,缓存将被清除。可选项:1分钟、5分钟、30分钟、1小时、1天、1周。 | |
图片缓存阈值 | 仅在 缓存启用状态 开启时,该参数才会出现。为包含图片的请求设置图片相似度阈值,用于判断是否命中缓存。取值范围为 0~1。
满足条件后,网关会将当前请求中的图片与缓存中已有请求的图片进行比较。如果计算出的相似度大于您配置的阈值,则判定为命中缓存,并直接返回历史缓存结果,从而降低 Token 消耗。 说明 该阈值的配置依赖于具体的业务场景。阈值越小,图片相似度的要求越低,缓存命中率也越高。建议您根据自身业务场景进行测试并确定最佳阈值。 | |
| 请求超时定义 | 设置单次模型调用的超时时长,单位为毫秒。模型请求发出后,若在超时时长内未收到响应,则判定该请求失败。
| |
请求速率限制 | 针对平台预置模型和智能体,设置单模型或智能体的请求速率上限。
说明 如果默认最大值无法满足业务需求,您可以在网关访问密钥创建成功后,前往 配额中心 申请提升配额。相关操作,请参见申请提升请求速率上限。 |
网关访问密钥创建和配置成功后,您可参考使用网关访问密钥进行使用。