接入记忆库（长期记忆）--实时音视频-火山引擎

文档中心

导航

实时音视频

接入记忆库（长期记忆）

最近更新时间：2025.11.19 11:47:52首次发布时间：2025.10.22 20:34:52

通过将历史对话记录等关键信息存储在火山记忆库，可实现跨会话的长期记忆能力。在接收到用户问题后，系统会先从记忆库中检索相关记忆（如用户的身份、偏好等），然后将「用户问题 + 过渡语（若有）+ 检索到的记忆」拼接成一个信息更丰富的上下文，交由 LLM 处理，从而生成更个性化和精准的回复。

若仅需理解单次连续对话中的内容（即短期记忆），可通过配置上下文实现。具体操作，请参见上下文管理。

应用场景

社交与陪伴：让虚拟角色记住用户的偏好和表达习惯，提升互动的连贯性和真实感。
教育陪练：动态跟踪学习进度，记录知识点掌握情况，实现因材施教。
智能硬件：通过记忆能力提升产品个性化和温度感，不再局限于固定功能。

工作原理

当启用记忆库后，每一轮对话的处理流程会变为：

用户的语音问题被 ASR 转换为文本。
系统自动根据配置的 filter 规则，去火山记忆库中检索与当前用户和问题相关的历史记忆。
将 用户问题 + 过渡语 + 检索到的记忆 拼接成一个新的、更丰富的上下文。
将这个新上下文送给 LLM 进行处理，生成回复。

实现步骤

准备工作

获取与智能体的历史对话记录。具体操作，请参见实时字幕（对话记录）。

步骤 1：创建并填充记忆库

创建记忆库并定义规则：在火山引擎向量数据库（VikingDB）控制台，创建一个事件规则的记忆库。具体操作，请参见创建记忆库。
向记忆库中添加记忆：具体操作，可参见添加记忆。

成功添加记忆后，可在控制台查看记忆详情。具体操作请参见查看记忆详情。

步骤 2：为服务授权访问记忆库

为了让实时对话式 AI 服务能够访问你的记忆库，你需要为服务角色 VoiceChatRoleForRTC 添加对向量数据库（VikingDB）的访问权限。

登录火山引擎访问控制（IAM）控制台。
在左侧导航栏中，选择 角色管理，搜索并找到 VoiceChatRoleForRTC，单击操作栏的添加权限。
在权限策略列表中，搜索并勾选 MLPlatformVikingDBFullAccess 和 VikingdbFullAccess 两个权限。
单击提交完成授权。

步骤 3：配置 StartVoiceChat 接口

调用 StartVoiceChat 接口时，在 Config 对象中配置 MemoryConfig 参数。StartVoiceChat 配置示例如下：

详细参数说明，请参见 StartVoiceChat 。

POST https://rtc.volcengineapi.com?Action=StartVoiceChat&Version=2024-12-01
{
    "AppId": "Your_RTC_AppId",
    "RoomId": "Your_RoomId",
    "TaskId": "Your_TaskId",
    "Config": {
    "MemoryConfig": {
        "Enable": true,
        "Provider": "volc",
        "ProviderParams": {
            "collection_name": "customer_service_memory", // 来源于步骤 1 在 VikingDB 控制台创建的记忆库名称
            "limit": 3,
            "filter": {
                "user_id": ["current_user_id"],          // user_id 和 assistant_id 至少填一个
               // "assistant_id": ["assistant_123"],     
                "memory_type": ["order_event"]          // 来源于步骤 1 在 VikingDB 的事件规则定义
            },
            "transition_words": "根据您的历史记录："
        }
    },
    // ... ASRConfig, TTSConfig, LLMConfig
  }
}