目前 AI 方案不支持文字触发 AI 问答,目前仅支持语音麦克风采集问答。
不支持传统运营商电话,只支持类似微信语音电话类型的网络电话(SIP)。运营商的电话拨打需要业务自行和运营商沟通集成,RTC 不提供支持。网络电话支持通过 RTC Linux SDK 服务器版 接入业务自有网络电话系统实现音频流中转,但具体方案需要业务自行实现。
调用 StartVoiceChat 接口时,配置参数 LLMConfig.HistoryLength
,可以记忆对话内容。
实时对话式 AI 目前暂不支持 WebSocket 接入,需使用通过火山引擎 RTC SDK 接入。
目前仅支持 1v1,即一个客户端用户、一个智能体。
暂不不支持传入图片。
如果没有主动退出房间,在 Token 过期前不会自动关闭房间。
不支持。
RTC 关于并发目前没有限制。
部分服务支持使用第三方的,具体支持情况如下:
可以。在语音技术控制台可以购买音色,获取 voice_type 值后填入 StartVoiceChat
接口。不同服务下具体支持的音色不同,支持音色详情参看不同服务下的音色列表。
支持。可参看火山声音复刻大模型(非流式输入流式输出)自定义音色。
可以。可通过字幕功能接收,具体请参见字幕功能。
可以。可参看 Function Calling功能实现。
不支持。
可使用云端录制功能存储,详情参看关于云端录制。
可通过 setRemoteAudioPlaybackVolume 接口调节本地播放的所有音频的音量。
不同房间模式下,对声音的处理策略不同,会导致不同场景下的声音高低不同。
可在启动智能体任务前,将上一次对话内容传入 LLMConfig.UserPrompts
作为对话上下文。
无法在任务启动时修改。需要先结束当前任务,再使用新的配置重新启动任务。
是的。单用户 QPS 限制是指火山引擎主账号及其子账号每秒调用特定 API 的频率上限。例如,StartVoiceChat
接口的单用户 QPS 限制为 60 次/秒,假设用户有 1 个主账号,该主账号有 4 个子账号,如果这 5 个账号同时调用StartVoiceChat
接口,则这 5 个账号的调用频率加起来不能超过 60 次/秒。
不支持。
可以使用打断功能 组合静音麦克风暂停与智能体的交互。
可以。可以通过大模型配置中的 SystemMessages
配置。详情可参看大模型配置。
可以使用配置对话触发模式功能手动判断新一轮对话触发的时机。
可以。具体操作请参看对话式 AI 如何接入知识库 RAG?
可以。具体操作请参看自定义语音播放。
可以。单需要注意并发数,具体 QPS 限制请参考各个服务官网。
StartVoiceChat
智能体接口时,是否支持海外请求地址?不支持。
Function Calling(流式返回结果) 是指在调用 Function Calling 接口时,返回结果是流式返回的。Function Calling(非流式返回结果) 是指在调用 Function Calling 接口时,返回结果是一次性返回的。不同模型下返回的方式不同,只有在使用 doubao-1.5 代系模型和 DeepSeek 模型时,按照流式返回 Function Calling 结果,使用 doubao 非1.5 代系模型时,按照非流式返回 Function Calling 结果。
不支持。
可以使用配置对话触发模式选择手动触发新一轮对话,智能体未接受触发新一轮对话开始信令时,不会被新的语音输入打断。