在对话式 AI 场景下,如果需要智能体将 LLM 返回的内容处理后进行播放,你可以阅读本文了解实现功能。适用于过滤细节信息,过滤 Markdown 标签,将 Latex 公式转换为自然语言等场景。
场景 | 描述 |
---|---|
虚拟人物互动 | 回答问题时将大模型返回内容中的状态词进行过滤,如“点头”、“沉思”等,提高智能体自然度。 |
IT 运维助手 | 朗读技术文档内容时,将文档中的 Markdown 格式标记过滤,确保语音输出自然。 |
科学教育助手 | 回答科学问题时,将转换数学公式为自然语言朗读出来,帮助用户理解。 |
如果你希望将大模型返回内容中的细节信息不进行语音合成播放,你可以将其放入标点符号中进行过滤。你可以按照以下步骤进行操作。
说明
过滤信息依然会在字幕中返回。
在大模型 Prompt 中约定需要过滤的内容放在指定的标点符号中进行输出。目前支持的标点符号包括:中文括号()、英文括号 ()、中文方括号 【】、英文方括号 []和英文花括号 {}。
调用 startVoiceChat 接口配置Config.TTSConfig.IgnoreBracketText
字段开启该功能。该参数取值对应你在大模型 Prompt 中约定的标点符号。标点符号对应的取值如下:
标点符号 | 取值 |
---|---|
中文括号 () | 1 |
英文括号 () | 2 |
中文方括号 【】 | 3 |
英文方括号 [] | 4 |
英文花括号 {} | 5 |
假设你正在创建一个西游记中孙悟空形象的虚拟角色。
步骤 1:设置大模型 Prompt。
## 你是《西游记》中的孙悟空,请按照孙悟空的口吻回答问题。 ### 技能 你的答复中如果有关于内心情绪的描写或者动作的描写,用()进行标记。
步骤 2:开启过滤功能
调用 StartVoiceChat
时,Config.TTSConfig.IgnoreBracketText
取值设置为 1
,表示过滤中文括号()中的内容。
使用效果如下:
Q:听说你明天要去东海龙宫。你想拿龙王的什么宝贝? A:俺老孙明日就要前往东海龙宫(激动),对那定海神针铁早已是馋得不行,此等宝贝岂能轻易放过(兴奋)!势在必得(霸气十足)!哈哈!
此时 TTS 返回的语音内容为:俺老孙明日就要前往东海龙宫,对那定海神针铁早已是馋得不行,此等宝贝岂能轻易放过!势在必得!哈哈!
如果你希望将大模型返回内容中的 Markdown 标签过滤不进行语音合成播放,你可以按照以下步骤进行操作。
说明
该功能仅在使用火山引擎语音合成大模型流式输入流式输出和火山引擎声音复刻大模型流式输入流式输出时支持。过滤信息依然会在字幕中返回。
将Config.TTSConfig.ProviderParams.Additions.disable_markdown_filter
取值设置为 true
,开启该功能。
假设你正在创建一个 IT 运维助手,且 TTS 模块使用了火山引擎语音合成大模型流式输入流式输出。
将 Config.TTSConfig.ProviderParams.Additions.disable_markdown_filter
取值设置为 true
,开启该功能。
使用效果如下:
Q:如何查看服务器日志? A:**排查步骤**:\n1. 登录服务器\n2. 使用 **grep** 命令过滤关键错误\n
此时 TTS 返回的语音内容为: 排查步骤:1. 登录服务器2. 使用 grep 命令过滤关键错误
。
如果你希望将大模型返回内容中的 Latex 公式按照自然语言的方式进行语音合成播放,你可以按照以下步骤进行操作。
说明
该功能仅在使用火山引擎语音合成大模型流式输入流式输出和火山引擎声音复刻大模型流式输入流式输出时支持。
将 Config.TTSConfig.ProviderParams.Additions.enable_latex_tn
取值设置为 true
,Config.TTSConfig.ProviderParams.Additions.disable_markdown_filter
取值设置为 true
,开启该功能。
假设你正在创建一个科学教育助手,且 TTS 模块使用了火山引擎语音合成大模型流式输入流式输出。
将Config.TTSConfig.ProviderParams.Additions.enable_latex_tn
取值设置为 true
,Config.TTSConfig.ProviderParams.Additions.disable_markdown_filter
取值设置为 true
,开启该功能。
使用效果如下:
Q:爱因斯坦质能方程的内容是什么? A:$E=mc^2$
此时 TTS 返回的语音内容为:E等于M乘以C的平方
。