You need to enable JavaScript to run this app.
导航
语音对话智能体(自定义版本)
最近更新时间:2025.05.14 14:10:13首次发布时间:2025.05.13 14:21:03
我的收藏
有用
有用
无用
无用

语音对话智能体(自定义版本)支持用户自行选择所需的语音识别(ASR)、语音合成(TTS)和大语言模型(LLM),并串联实现端到端语音对话功能。

说明

要体验和使用语音对话智能体(自定义版本),请提交工单

相较于原版语音对话智能体,其交互接口的事件定义完全一致,但在使用方式上存在以下差异:

差异1:网关访问密钥绑定

要使用语音对话智能体(自定义版本),必须将 语音对话智能体(自定义版本)所需使用的 ASR、TTS、LLM 模型 绑定到同一个网关访问密钥。

alt

说明

ASR、TTS 和 LLM 模型允许来自平台预置渠道和自有三方渠道。

差异2:建立连接的参数

URL

wss://ai-gateway.vei.volces.com/v1/realtime

查询参数

?model=AG-voice-chat-agent-custom&ag-asr-model=bigmodel&ag-llm-model=doubao-pro-32k&ag-tts-model=doubao-tts

各参数含义如下:

  • model:取值固定为AG-voice-chat-agent-custom,指定当前调用的智能体为语音对话智能体(自定义版本)。
  • ag-asr-model:取值为 ASR 模型的调用名称,例如:bigmodel
  • ag-llm-model:取值为 LLM 模型的调用名称,例如:doubao-pro-32k
  • ag-tts-model:取值为 TTS 模型的调用名称,例如:doubao-tts

请求头

请求头说明

Authorization: Bearer $YOUR_API_KEY

  • 必须携带
  • $YOUR_API_KEY 需替换成网关访问密钥的 API key。
    该网关访问密钥必须同时绑定语音对话智能体(自定义版本)以及所需的 ASR、LLM、TTS 模型。

X-ASR-Api-Resource-Id: volc.bigasr.sauc.duration

符合以下情形时需要携带:

  • 网关访问密钥绑定的 ASR 模型是 自有三方渠道 的(字节跳动火山方舟)Doubao-语音识别
  • 在火山方舟开通了 小时版 流式语音识别大模型服务。

alt

X-ASR-Api-Resource-Id: volc.bigasr.sauc.concurrent

符合以下情形时需要携带:

  • 网关访问密钥绑定的 ASR 模型是 自有三方渠道 的(字节跳动火山方舟)Doubao-语音识别
  • 在火山方舟开通了 并发版 流式语音识别大模型服务。

X-TTS-Api-Resource-Id: volc.megatts.default

符合以下情形时需要携带:

  • 网关访问密钥绑定的 TTS 模型是 自有三方渠道 的(字节跳动火山方舟) Doubao-语音合成
  • 使用自定义音色,且在火山方舟开通了 字符版 声音复刻大模型服务。

说明

若使用默认音色,无需携带该请求头。

alt

X-TTS-Api-Resource-Id: volc.megatts.concurr

符合以下情形时需要携带:

  • 网关访问密钥绑定的 TTS 模型是 自有三方渠道 的(字节跳动火山方舟) Doubao-语音合成
  • 使用自定义音色,且在火山方舟开通了 并发版 声音复刻大模型服务。

说明

若使用默认音色,无需携带该请求头。

特殊请求体参数 - 使用复刻的自定义音色

若需在语音合成中使用复刻的自定义音色,需要将 session.update 中的 voice 设置成您在 声音复刻大模型 中复刻的 声音ID。更多信息,请参见获取声音ID

alt