实时音视频
集成实时对话式 AI 前,需开通相关云服务并配置跨服务授权。
参考开通服务,开通 RTC 服务。开通后系统会自动新建一个默认应用,可直接使用且享受赠送额度。如需多个应用可自行创建。
可使用服务(任选其一) | 支持的模型 | 开通方式 |
|---|---|---|
豆包 ASR | (推荐) 流式语音识别大模型 |
|
流式语音识别 | ||
自定义 ASR | / |
可使用服务(任选其一) | 可选模型 | 开通方式 |
|---|---|---|
豆包语音 TTS | (推荐) 语音合成大模型 |
注意
|
声音复刻大模型 | ||
语音合成 | ||
第三方或自定义 TTS | MiniMax 语音合成 | 参考 MinMax 官方文档 |
自定义 TTS |
可使用服务(任选其一) | 开通方式 |
|---|---|
火山方舟-模型推理 | 在方舟控制台创建自定义推理接入点,获取 Endpoint ID。
|
火山方舟-应用 | 在方舟应用实验室创建应用,获取应用 ID。
|
Coze 平台 | 在 Coze 平台创建智能体,获取智能体 ID。如何创建 Coze 智能体? |
第三方大模型 | 您需要准备一个符合接口规范的服务 URL。具体要求,请参见如何接入第三方大模型或 Agent? |
为确保实时对话式 AI 服务有权调用 ASR、TTS 及 LLM 服务,必须为其配置 VoiceChatRoleForRTC角色并授予相应权限。
如果你使用的是主账号操作,可按照以下步骤为主账号授权。
使用主账号调用接口,权限过大、安全性较低,建议用于测试或调试场景。
VoiceChatRoleForRTC,该角色拥有SAFullAccess 、 MaaSExperienceAccess 和 RTCFullAccess权限。如果你需要使用子账号在服务端进行操作,请参考以下步骤为子账号授权。
操作前,请确保你已创建一个子账号。可前往访问控制-用户管理-用户,创建一个新用户。
如果你仅需要使用子账号在客户端进行操作,请参考以下步骤授予子账号扮演 VoiceChatRoleForRTC 角色的权限,并通过STS服务获取临时访问凭证。
操作前,请确保你已创建一个子账号。可前往访问控制-用户管理-用户,创建一个新用户。
使用主账号登录 实时音视频控制台。
选择实时对话式AI-跨服务授权,点击一键开通跨服务授权配置角色。
点击为子账号添加权限,找到你需要授权的子账号,点击添加权限。
修改角色信任关系。
VoiceChatRoleForRTC 并点击。{主账号AccountId} 和 {子账号UserName} 需替换为实际信息。{ "Statement": [ { "Effect": "Allow", "Action": [ "sts:AssumeRole" ], "Principal": { "Service": [ "rtc" ], "IAM": [ "trn:iam::{主账号AccountId}:user/{子账号UserName}" ] } } ] }
为子账号授予AssumeRole权限。
STSAssumeRoleAccess 权限。获取临时凭证。
在后端服务中,调用 AssumeRole 接口获取临时 AK、SK 及 Token。其中,
RoleSessionName :必填。自定义的会话名称,标识此次AssumeRole请求。RoleTrn:必填。格式为 trn:iam::{AccountId}:role/{RoleName},例如trn:iam::2100****3232:role/VoiceChatRoleForRTC。StartVoiceChat 等接口。为子账号添加权限失败,超过了设定的配额限制?