You need to enable JavaScript to run this app.
导航
数据管理
最近更新时间:2025.04.21 17:27:23首次发布时间:2025.04.21 17:27:23
我的收藏
有用
有用
无用
无用

前提

场景创建完成后是待启动状态,需要启动场景,待场景为运行中状态时可以操作数据管理。

操作步骤

  1. 在 RAG 场景列表页,点击场景卡片中的【数据管理】,或进入到场景详情页后点击【数据管理】。

Image
Image

  1. 配置索引,支持快速配置、高级配置两种方式。
    1. 快速配置:
      1. 系统会自动创建索引以及索引中的字段。
      2. 需要选择用于向量化的推理服务和向量化模型。如需新的推理服务,可创建推理服务
        Image
    2. 高级配置:
      1. 支持选择已经在索引管理中创建好的索引,如需新建,请前往索引管理进行操作。
      2. 配置索引数据的字段映射,明确索引中用于存储内容、标题、Chunk 顺序以及文件 ID 的字段,为后续的 RAG 开发做准备。
        1. 内容字段:用于存放文档内容的字段,最终结果会根据该字段内容返回,请选择包含每个文档的主文本内容的字段,不能选择向量类型字段。
        2. 标题字段:配置标题字段可以区分不同标题下的文档分片,用于对分片进行分类归纳,请选择包含每个文档的原始标题的字段。
        3. Chunk 顺序字段:配置分片顺序可以保证召回的文档分片是有序的,根据分片在文档中的顺序递增生成,请选择数字类型的字段。
        4. 文件 ID 字段:配置文件 ID 可以区分同名标题下的不同文档分片,该字段用于二次召回,请选择数字类型的字段。
          Image

说明

需要先配置索引,才能添加数据。

  1. 在【数据管理】Tab 下,点击【添加数据】,支持上传本地文件、选择对象存储文件和文本输入三种方式。
    1. 上传本地文件
      1. 选择存储文件的存储桶和存储文件夹,如果没有可用的存储桶,请先创建存储桶
      2. 支持上传 xls、xlsx、csv、json l格式的文件
      3. 文件大小限制在 100MiB 以内
        Image
    2. 选择对象存储文件
      1. 需要先进行跨服务授权, 否则无法获取到当前账号下 TOS 中的文件信息
      2. 选择存储桶和文件
        Image
    3. 使用文本输入
      1. 支持在输入框中输入文本,最大长度在 1048576 内
      2. 选择存储文件的存储桶和存储文件夹,如果没有可用的存储桶,请先创建存储桶
        Image
  2. 配置文档处理规则
    1. 默认情况下,系统将依据文件类型展示预设的文档处理规则,同时支持根据实际需求对规则进行调整。
      Image
  3. 在数据管理页面,可以查看文件导入状态、导入方式和文件大小等信息,还可以预览切片内容。
    Image