本文将介绍在不同语种场景中,启动智能体任务时,如何配置 ASR(语音识别)、LLM(大模型)和 TTS(语音合成)模块,提升智能体的多语言交互体验。
该场景适用于 AI 陪聊等应用,真人用户自由切换输入语言,智能体自动识别真人用户输入语种并使用相同语种回答。你可按照以下推荐操作配置 StartVoiceChat
接口的 ASR、LLM 和 TTS模块。
你需要选择流式语音识别大模型服务进行语音识别。
前往控制台应用管理,新建应用或编辑你已创建的应用,勾选流式语音识别大模型。大模型支持自动识别语言,无需额外配置。支持中英及方言识别,详细支持语种列表参看支持语种。
服务配置完成后,可前往语音识别配置查看具体的调用参数和示例。
你可以选择使用火山方舟、Coze 平台和第三方大模型进行用户输入解析。请前往大模型配置查看不同方案下具体的调用参数和示例。
为增强智能体在多语言场景下的表现,可在配置大模型时适当增加多语言处理规则。使用火山方舟平台和第三方大模型时通过SystemMessages
参数传入规则,使用 Coze 平台时通过智能体编排页人设与回复逻辑处传入规则。
你可参看以下示例进行传入:
"SystemMessages": [ "输出语种自动匹配输入语种。", "乱码输入检测规则:1. 非中英字符触发乱码提示,2:乱码响应模板:"这是乱码"。", "输出英文需语法正确,且表达自然。" ]
在收到 LLM 生成回复后,你需要选择语音合成大模型服务进行语音合成。
1. 前往控制台应用管理,新建应用或编辑你已创建的应用,勾选语音合成大模型。
2. 前往语音合成大模型控制台点击音色购买,购买支持指定语种的音色。支持英、日、西班牙等多国语言,详细列表参看音色列表。
服务配置完成后,请前往语音合成配置查看具体的调用参数和示例。
如果存在特定内容无需语音合成或过滤指定标签等场景,可使用控制播放内容功能。
该场景适用于外语陪练等应用,智能体与真人用户使用外语进行对话。你可按照以下推荐操作配置 StartVoiceChat
接口的 ASR、TTS 和 LLM 模块。
你可以选择使用流式语音识别或流式语音识别大模型服务进行语音识别。
服务配置完成后,可前往语音识别配置查看不同方案下具体的调用参数和示例。
你可以选择使用火山方舟、Coze 平台和第三方大模型进行用户输入解析。请前往大模型配置查看不同方案下具体的调用参数和示例。
为增强智能体在多语言场景下的表现,可在配置大模型时增加一些多语言处理规则。使用火山方舟平台和第三方大模型时通过SystemMessages
参数传入规则,使用 Coze 平台时通过智能体编排页人设与回复逻辑处传入规则。
你可参看以下示例进行传入:
"SystemMessages": [ "输入文本无论是中文还是英文,最终回答都必须是英文。", "如果输入是中文,请识别出,这是中文,并回复(这是中文)。", "如果输入的内容是乱码、既不是中文也不是英文,请识别出,这是乱码,并回复(这是乱码)。", "确保输出的英文表达准确、自然,符合语法规则。", "回复尽量贴近真人的表达。" ]
在收到 LLM 生成回复后,你可以选择语音合成或语音合成大模型服务进行语音合成。
服务配置完成后,请前往语音识别配置查看不同方案下具体的调用参数和示例。
如果存在特定内容无需语音合成或过滤指定标签等场景,可使用控制播放内容功能。
该场景适用于翻译等场景,真人用户输入后,智能体翻译并输出。你可按照以下推荐操作配置 StartVoiceChat
接口的 ASR、TTS 和 LLM 模块。
你可以选择使用流式语音识别或流式语音识别大模型服务进行语音识别。
你可以选择使用火山方舟、Coze 平台和第三方大模型进行用户输入解析。请前往大模型配置查看不同方案下具体的调用参数和示例。
为增强智能体在多语言场景下的表现,可在配置大模型时增加一些多语言处理规则。使用火山方舟平台和第三方大模型时通过SystemMessages
参数传入规则,使用 Coze 平台时通过智能体编排页人设与回复逻辑处传入规则。
你可参看以下示例进行传入:
"SystemMessages": [ "输入文本为中文,最终回答必须是英文。", "如果输入不是中文,请识别出,这不是中文,并回复(这不是中文)。", "如果输入的内容是乱码、既不是中文也不是英文,请识别出,这是乱码,并回复(这是乱码)。", "确保输出的英文表达准确、自然,符合语法规则。", "回复尽量贴近真人的表达。" ]
在收到 LLM 生成回复后,你可以选择语音合成或语音合成大模型服务进行语音合成。
服务配置完成后,请前往语音识别配置查看不同方案下具体的调用参数和示例。
如果存在特定内容无需语音合成或过滤指定标签等场景,可使用控制播放内容功能。