对话助手功能概述
对话助手分析用户的输入和上下文信息,经主动思考和工具调用可实现对平台内的物品数据、文档数据等信息进行搜索,并将搜索的内容进行总结,最终输出满足用户诉求的回复。

对于图文数据集和视频类应用,对话助手可支持的场景功能如下:
| 图文类应用 关联图文数据集的应用
| 视频类应用 关联视频数据集的应用
|
|---|
知识数据来源 | - 图文数据集:关联至应用的图文数据集,包含数据集中数据的文本和图片信息均可以被agent搜索、读取和总结。
- 文档数据:关联至应用的文档数据集中的文档内容。可用于在助手的问答过程中提供行业知识、品牌知识、平台政策等信息的补充。
| - 视频元数据:关联至应用的视频数据集中存储的元数据,如视频的标题、简介、演员、导演等内容
- 视频音画文数据:关联至应用的视频数据集中的视频文件,经大模型理解后的切片信息。在存在系列-单集的多层级媒体数据中,模型可理解层级关系,实现统一系列下的跨集理解。
- 文档数据:关联至应用的文档数据集中的文档内容。可用于在助手的问答过程中提供行业知识、品牌知识、平台政策等信息的补充。
|
支持问答场景 | 电商场景: - 商品推荐:解析用户的需求,推荐平台上的商品,包含泛品类推荐、场景化的推荐等
- 商品内容问答:基于商品数据集的商品信息,回答用户关于商品参数、功能、使用方法等具体问题。
- 选购攻略:结合商品数据集中的信息和平台、行业知识,为用户提供“如何选”、“哪种好”类的攻略问答。
| 视频平台场景: - 视频推荐:解析用户的视频推荐需求,推荐符合用户需要的视频媒资。
- 视频剧情问答:基于用户的问题,解析视频剧情内容,回答用户关于剧情发展、角色关系、关键剧情片段等问题,并返回与回答相关的剧情高光片段定位。
视频课程场景: - 课程搜索和推荐:解析用户的学习诉求,推荐课程系列。
- 课程内容问答:用户询问课程知识点,agent可根据课程视频中的音画文内容进行回复,并定位至相关课程视频的时间戳定位。
|
体验和配置对话搜索助手
在应用中有生效的数据集后,即可开始配置对话体验了。在控制台进入 应用 > 体验配置 > 对话体验 页签开始进行对话的配置和体验测试。

对话中调用搜索
在对话过程中,当用户的咨询意图需要进行数据集检索物品信息并作答时,对话助手将自动进行搜索请求的发起,智能搜索应用关联的所有数据集,并在获取到相关结果后结合上下文进行智能总结与回复。
在对话中调用搜索时,数据集的搜索策略将使用您在【搜索体验】中配置的搜索策略,搜索策略将直接影响到搜索的效果从而影响对话的意图满足度和信息回复的准确度。在配置对话时您也需要考虑以下的关联策略配置: