配置大模型 LLM --实时音视频-火山引擎

文档中心

实时音视频

配置 ASR/LLM/TTS

配置大模型 LLM

大模型服务（LLM）用于解析用户输入并生成文本回复。

注意

对于旧版接口StartVoiceChat（2024-12-01），若通过 S2SConfig 参数启用了端到端语音模型，且为纯端到端模式（OutputMode=0）时，本文档描述的 LLMConfig 相关配置将无效。关于端到端模型的配置，请参见接入端到端实时语音模型。

支持的 LLM 服务

支持接入以下模型，满足多种场景需求：

模型类型	说明
火山方舟模型（推荐）	适用于调用火山方舟官方基础模型（如 Doubao、DeepSeek 等）。
Coze 智能体	适用于快速搭建零代码/低代码 AI 应用的场景。
第三方大模型/Agent	适用于需要集成自有大模型或特定第三方服务（如开源大模型、垂直领域专用模型）的定制化场景。

火山方舟模型

快速接入

完整参数参见对应接口文档：音视频互动智能体- StartVoiceChat（2025-06-01）、实时对话式 AI-StartVoiceChat（2024-12-01）。

音视频互动智能体-StartVoiceChat（2025-06-01）

实时对话式 AI（通过 Endpoint 调用）

实时对话式 AI（使用方舟应用 BotID）

ModelName：支持的取值参见支持的方舟模型。

"LLMConfig": {
      "Mode": "ArkV3",                        //固定值
      "ModelName": "doubao-seed-1-6-251015",  // 火山方舟模型名称
      "MaxTokens": 1024,
      "Temperature": 0.1,
      "TopP": 0.3,
      "SystemMessages": [
        "##人设
你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；

##约束
始终主动、礼貌、有条理；
回答准确但不冗长，必要时可提供简洁总结+详细解释；
不清楚的任务会主动澄清，不假设、不误导。"
      ],
      "HistoryLength": 10,
      "ThinkingType": "disabled"      // 建议关闭
    }

EndPointId：仅支持使用自定义推理接入点。可前往火山方舟-在线推理创建或查询自定义推理接入点。

"LLMConfig": {
      "Mode": "ArkV3",               // 必填，固定值
      "EndPointId": "epid****212",   // 必填，，替换为您的 EndPointId
      "MaxTokens": 1024,
      "Temperature": 0.1,
      "TopP": 0.3,
      "SystemMessages": [
        "##人设
你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；

##约束
始终主动、礼貌、有条理；
回答准确但不冗长，必要时可提供简洁总结+详细解释；
不清楚的任务会主动澄清，不假设、不误导。"
      ],
      "HistoryLength": 10,
      "ThinkingType": "disabled"     // 建议关闭
    }

调用在方舟平台构建好的智能体应用（Bot），示例如下：

{
    "LLMConfig": {
        "Mode": "ArkV3",  // 必填，固定值
        "BotId": "bot-****212",  // 必填，替换为您的应用 ID
        // SystemMessages 和 UserPrompts 为选填，可用于覆盖 Bot 中的默认设定
        "HistoryLength": 3
    }
}

进阶配置

对话上下文管理

使用火山方舟平台时，模型的上下文由 SystemMessages + UserPrompts + HistoryLength（最近 N 轮对话）共同组成。具体参见上下文管理（短期记忆）。

Function Calling

允许大模型识别用户意图并调用外部函数执行特定任务（如查询天气、订单状态、股票查询等）。具体实现方式，请参见函数调用 Function Calling。

该功能不支持与联网插件、知识库插件同时开启。

视觉和图片理解

通过 EndPointId 调用使用视觉理解能力的方舟模型时（即 vision 系列），可通过配置 VisionConfig，将实时视频流或外部图片数据发送给 LLM，实现图像问答、环境感知等高级交互。详细配置及使用方法，请参考视频和图片理解。

配置 MCP

通过 MCP（模型上下文协议），您可以将知识库问答（RAG）、联网搜索、业务 API 调用等外部服务封装为标准化工具，让 LLM 在对话中能智能地调用它们，以获取所需的数据或执行操作，并基于返回的结果生成更准确、专业的回复。具体实现方式，请参见接入 MCP。

降低延迟（Prefill）

设置 Prefill: true，将 ASR 的中间结果提前送入大模型处理，可显著降低首字延迟，但会增加 Token 消耗。
若使用支持深度思考的模型（如 Doubao-thinking），建议将 ThinkingType 设置为 disabled 以关闭思考模式，避免回复延迟过高影响实时对话体验。

支持的方舟模型

使用音视频互动智能体时，支持接入以下方舟模型：

对于旧版实时对话式 AI 服务，支持接入所有方舟模型。

模型类型	ModelName
Doubao (豆包) 系列模型	doubao-seed-1-6-flash-250715 doubao-1-5-lite-32k-250115 doubao-lite-32k-character-250228 doubao-seed-1-6-flash-250615 doubao-1-5-vision-pro-250328 doubao-1-5-vision-lite-250315 doubao-1-5-vision-pro-32k-250115 doubao-seed-1-6-251015 doubao-1-5-pro-32k-250115 doubao-1-5-pro-32k-character-250715 doubao-seed-1-6-vision-250815 doubao-seed-1-6-lite-251015 doubao-seed-1-6-flash-250828
Deepseek 系列模型	deepseek-v3-1-250821 deepseek-v3-250324

Coze 智能体

使用须知

必须将 Coze 智能体发布为 API。具体操作，参见发布智能体为 API 服务。
使用 Coze 智能体时不支持以下能力：视觉理解能力、Function Calling 功能、端插件能力。如需使用上述能力，可使用 Coze 服务端 + RTC SDK 方案。

快速接入

使用 Coze 平台时，StartVoiceChat.LLMConfig 结构核心配置参数如下：

{
    "LLMConfig": {
        "Mode": "CozeBot", // 必填，固定为 CozeBot
        "CozeBotConfig": {
            "Url": "https://api.coze.cn",   // 必填，固定值
            "BotId": "73****68",  //必填，Coze 智能体 ID
            "APIKey": "czu_UEE2mJn6****MHxLCVv9uQ7H",   // 必填，Coze 访问密钥
            "UserId": "123"       // 必填，标识当前与智能体对话的用户
        }
    }
}

进阶配置

上下文管理

你可选择将上下文管理交由 Coze 平台管理或由 RTC 管理。详细说明，请参见上下文管理模式。

降低延迟

降低请求延迟：在输入请求地址时，可使用 https://bot-open-api.bytedance.net内网域名，时延更小更稳定。
降低回复延迟：设置 Prefill: true。将 ASR 的中间结果提前送入大模型处理，可显著降低首字延迟，但会增加 Token 消耗。

变量传参

支持将业务数据动态注入到 Coze 智能体的提示词或工作流中。

参数名	说明
`CustomVariables`	为 Prompt 中定义的变量 `{{key}}` 赋值。格式为 Key-Value 对。示例：`{"user_name": "Alice"}`。
`MetaData`	为对话附加信息，比如业务标识（如订单号、用户来源等），方便后续数据查询和分析。示例：`{"order_id": "2024****"}`。
`Parameters`	如果在 Coze 对话流起始节点中定义了自定义变量，通过此参数赋值，Map<String, Any> 格式。示例：`{"user_input": "start"}`。

第三方大模型/Agent

接入说明，请参见接入第三方大模型或 Agent。

FAQ

如何更换大模型配置？
你可以通过 UpdateVoiceChat 接口更新模型的部分配置（例如 SystemMessages、Tools），具体支持的配置，请参见 UpdateVoiceChat 接口的 Parameters.Config.LLMConfig 字段。
其他配置则需调用 StopVoiceChat 接口停止当前智能体任务，随后在 StartVoiceChat.LLMConfig 中传入新的大模型配置，并重新启动智能体任务。
对话过程中，一分钟前生成的结果，现在再提问，智能体已经不记得之前回答结果了怎么办？
可适当调大 LLMConfig.HistoryLength 参数，增大上下文存储长度。

最近更新时间：2025.12.30 11:24:32

这个页面对您有帮助吗？

有用

无用