You need to enable JavaScript to run this app.
实时音视频

实时音视频

请输入
  • 文档首页
    • 实时音视频音视频互动智能体（原实时对话式 AI）进阶功能接入 MCP
复制全文
我的收藏
进阶功能
接入 MCP
复制全文
我的收藏
接入 MCP

通过 MCP（模型上下文协议），您可以将外部服务（如知识库、联网搜索、业务 API 等）作为标准化工具接入到智能体中，让智能体能够处理更复杂的任务，从而生成更准确、专业的回复。

更多 MCP 介绍，可以参见 MCP 官方文档。

适用场景

场景

核心价值

接入知识库（RAG）

让智能体能够基于您内部非公开的文档或数据库进行精准问答

实时联网搜索

让智能体能够同时获取不同类型的信息（如天气、新闻、股票）并进行智能汇总。

执行复杂业务流程

让智能体能够调用外部 API，完成如预订、下单、查询账户等实际业务操作。

使用限制

  • 仅特定模型支持该功能：
    • 支持 Function Calling 的火山方舟模型。具体支持的模型，请参见支持模型。

      说明

      • 为保证接入效果，建议使用模型 doubao-seed-1.6。
      • 不建议使用 doubao-seed-1.6-thinking，该模型会强制开启思考模式且不可关闭，可能因高延时影响用户体验。
    • 支持 Function Calling 的第三方大模型/Agent。
  • MCP Server 必须支持流式 SSE（Server-Sent Events）协议返回。

接入方式

1. 准备 MCP Server

准备一个符合 MCP 协议且可公网访问的 MCP Server：

2. （可选）验证 MCP Server 可用性

在正式配置前，建议先验证 MCP Server 是否可被公网正常访问。

  • 若服务配置了 Authorization 鉴权：

    curl -i -H "Authorization: <Your-Auth-Token>" https://your-mcp-server.com/endpoint
    • -H "Authorization: <Your-Auth-Token>"：请将 <Your-Auth-Token> 替换为您的有效凭证。
    • https://your-mcp-server.com/endpoint：请替换为目标 MCP Server 的实际地址。

  • 若服务无需鉴权：

    curl -i https://your-mcp-server.com/endpoint

3. 在 StartVoiceChat 中注册 MCP 工具

调用 StartVoiceChat 接口时，需要在 LLMConfig 中配置以下字段：

完整参数参见对应接口文档：音视频互动智能体- StartVoiceChat（2025-06-01）、实时对话式 AI-StartVoiceChat（2024-12-01）。

字段

说明

LLMConfig.MCP

注册您的 MCP 工具集。

LLMConfig.SystemMessages

大模型对 MCP 工具无先验认知，您必须在系统提示词中明确告知 LLM 需要使用的工具的名称、功能、使用场景、所需参数及格式，LLM 才能在对话中根据用户意图准确调用 MCP 工具。

注意

请确保 SystemMessages 中描述的所有工具参数均已在您的后端 MCP Server 的工具中实现。SystemMessages 的作用是指导模型如何使用您已实现的能力，而非定义新功能。

LLMConfig.ExtraHeader

若 MCP Server 配置了自定义 Header（如 Authorization），需通过 ExtraHeader 声明。

注意

仅在使用第三方 LLM/Agent 时需要配置该字段。

核心配置示例

"LLMConfig": {
    // ... 其他 LLM 配置
    "MCP": [{
        "URL": "填入获取的 MCP Server 地址",
        "Name": "Web_Search",
        "ComfortWords": "正在为您搜索，请稍等。",
        "InterestedTools": ["web_search"]
    }],
    "SystemMessages": [
       // ... 此处可包含其他角色设定或行为准则
       "## 工具调用规则\n `Web_Search`（查询互联网的热点信息）：仅当用户表达了需要查询互联网热点信息的时候调用，你可以通过工具 `web_search` 查询热点信息，且你必须需要从用户的问题中提取 `query`（用户原始问题，必填）作为参数"
      ],
    // 仅使用第三方 LLM/Agent 时需要配置该字段
    "ExtraHeader": {
        "Authorization": "Bearer your-mcp-server-auth-token"
    }
}

应用示例

通过 MCP 接入火山融合信息搜索

本示例将指导您如何通过 MCP，将火山引擎融合信息搜索能力接入到实时对话流中。

注意

通过 MCP 接入融合信息搜索，会产生以下额外费用：

  1. 开通融合信息搜索服务。
    1. 前往融合信息搜索控制台，开通所需搜索服务。
    2. 在左侧导航栏中，选择系统管理 > API Key 管理，单击融合信息搜索页签，创建并获取 API Key。
  2. 生成融合信息搜索的 MCP Server 地址。
    1. 访问 MCP MarketPlace，搜索融合信息搜索。
    2. 单击融合信息搜索 MCP 卡片，进入部署页面，单击云部署。
    3. 在环境变量栏，填入以下信息：
      • VOLCENGINE_ACCESS_KEY：您登录账号的 Access Key。
      • VOLCENGINE_SECRET_KEY：您登录账号的 Secret Key。
      • ASK_ECHO_SEARCH_INFINITY_API_KEY：在步骤 1 获取的 API Key。
    4. 定位到访问配置区域：

      1. 若网关实例下方页面显示为如下时，单击创建。系统会自动创建一个 API 网关实例。

        请确保您的账户余额大于 100元，否则无法创建。若提示 resource serverless-gateway already exists，确保余额大于 100元后，前往 API 网关实例列表页面，删除实例后，回到 MCP 部署页面，重新单击创建。

        Image

      2. 网关创建需要一定时间，网关实例下方页面显示为如下时，单击开始部署，等待部署完成。
        Image

    5. 部署成功后，系统会为您生成一个唯一的 MCP Server 地址，复制并保存该地址。
  3. 调用 StartVoiceChat 接口时，参照以下结构配置 LLMConfig：
  • 为准确触发查询，您必须通过 SystemMessages 明确告知 LLM 所需要使用的工具的名称、功能、所需参数及格式。
  • 融合信息搜索提供了丰富的参数（如 SearchType、Filter）来实现更精确的搜索。您可以通过在 UserPrompts 中编写更详细的规则来使用它们。详情请参见融合信息搜索API。
"LLMConfig": {
    // ... 其他 LLM 配置
    "MCP": [{
        "URL": "填入获取的 MCP Server 地址",
        "Name": "Web_Search",
        "ComfortWords": "正在为您搜索，请稍等。",
        "InterestedTools": ["web_search"]
    }],
    "SystemMessages": [
       // ...此处可包含其他角色设定或行为准则
       "## 工具调用规则\n 当用户需要查询具有时效性的信息（如新闻、股价）时，调用 `web_search` 函数，该函数有一个 string 格式的参数 `Query`，你需要将用户的问题作为该参数的取值。"
      ],
    // 仅使用第三方 LLM/Agent 时需要配置该字段
    "ExtraHeader": {
        "Authorization": "Bearer your-mcp-server-auth-token"
    }
}

通过 MCP 接入 Viking 知识库

本示例将以为智能体接入一个关于“视频编码技术”的知识库为例。

注意

使用通过 MCP 接入Viking 知识库，会产生以下额外费用：

  1. 创建 Viking 知识库并导入文档。具体操作，请参见创建知识库。
  2. 部署知识库 MCP Server。
    1. 访问 MCP MarketPlace，搜索 知识库 MCP。
    2. 单击知识库 MCP 卡片，然后单击云部署。
    3. 在环境变量栏，填入以下关键信息：
      • VOLCENGINE_ACCESS_KEY：您登录账号的 Access Key。
      • VOLCENGINE_SECRET_KEY：您登录账号的 Secret Key。
      • KNOWLEDGE_BASE_PROJECT：您创建 Viking 知识库时，浏览器 URL 中 projectName= 后面的部分。
        Image
      • KNOWLEDGE_BASE_REGION：固定为 cn-north-1
    4. 定位到访问配置区域：

      1. 若网关实例下方页面显示为如下时，单击创建。系统会自动创建一个 API 网关实例。

        请确保您的账户余额大于 100元，否则无法创建。若提示 resource serverless-gateway already exists，确保余额大于 100元后，前往API 网关实例列表页面，删除实例后，回到 MCP 部署页面，重新点击创建。

        Image

      2. 网关创建需要一定时间，网关实例下方页面显示为如下时，单击开始部署，等待部署完成。
        Image

    5. 部署成功后，系统会为您生成一个唯一的 MCP Server 地址，复制并保存该地址。
  3. 调用 StartVoiceChat 接口时，参照以下结构配置 LLMConfig：
  • 为准确触发知识库查询，必须通过 SystemMessages 明确告知 LLM 需要使用的知识库工具的名称、功能、所需参数及格式。
  • Viking 知识库还支持检索过滤、结果重排等高级功能。您可以通过编写更详细的 UserPrompts 来使用这些能力。详情请参见 search_knowledge（新）。
"LLMConfig": {
   // ... 其他LLM 配置
  "MCP": [{
    "URL": "填入获取的 MCP Server 地址",
    "Name": "search_video_codec_knowledge",
    "ComfortWords": "正在处理中",
    "InterestedTools": ["search_knowledge"]
  }],
  "SystemMessages": [
      // ... 此处可包含其他角色设定或行为准则
     "## 工具调用规则\n 当用户咨询视频编码相关信息时，调用 `search_knowledge` 函数，该函数有一个 string 格式的参数 `query`，你需要将用户的问题作为该参数的取值。"
  ],
  "ExtraHeader": {
        "Authorization": "Bearer your-mcp-server-auth-token"
    }
}
最近更新时间：2025.12.26 00:14:42
这个页面对您有帮助吗？
有用
有用
无用
无用