You need to enable JavaScript to run this app.
导航

采集管理

最近更新时间2023.12.19 19:31:10

首次发布时间2023.06.25 17:19:44

1 概述

在开始采集数据之前,需要创建采集任务,通过采集任务连接需要的外部数据并写入您的Topic。

2 功能介绍

2.1 新建采集任务

  1. 登录 DataSail 控制台,进入数据采集-采集管理页面

  2. 点击新建采集任务打开新建抽屉,填写采集任务类型、预处理格式接入数据来源、采集任务名称、选择上报Topic、上报应用,点击确定新建成功

    1. 采集任务类型:两种类型均支持数据上报

      • 通用采集:无Schema限制
      • 事件采集:需定义事件Schema来支持事件管控、事件验证能力
    2. 预处理格式:如选择“事件采集”类型,需要填写预处理格式,并且对上报Topic有一定限制,如下方表格。

    3. 接入数据来源:按实际情况,选择按SDK/API/Agent等不同方式接入。

    4. 采集任务名称:仅支持中文、字母、数字、下划线、中划线,且不超过80个字符

    5. 上报Topic:如下拉框中搜索不到对应的Topic,可点击Topic管理跳转至Topic页面新建Topic,新建完成后点击刷新按钮,即可搜索新创建的Topic

    6. 上报应用:下拉列表中选择应用

    **采集任务类型-预处理格式-关联Topic之间限制关系:

采集任务类型预处理格式处理策略关联Topic限制
通用采集无限制
事件采集自定义格式支持中,敬请期待关联了事件Schema的topic

标准客户端格式

支持中,敬请期待

关联了标准客户端格式Schema的topic
(“标准客户端埋点”Schema为系统自带Schema,参见Schema管理)

标准服务端格式

  • 上报数据会进行基本的Schema校验,不符合对应Schema的数据会被丢弃

  • 上报数据会受下方配置的App限制,即未配置的App不允许上报数据

  • 上报的数据支持埋点验证

关联了标准服务端格式Schema的topic
(“标准服务端埋点”Schema为系统自带Schema,参见Schema管理)

  1. 点击确认后成功创建采集任务,并生成采集任务ID,采集任务ID将作为数据上报的重要参数,用于区分上报Topic。

2.2 数据接入

创建采集任务后,即可开始进行数据接入

2.3 查找采集任务

  1. 进入采集管理列表页

  2. 在搜索框中输入采集任务名称或者采集任务ID即可查找

2.4 修改采集任务

  1. 进入采集管理列表页
  2. 选择任意采集任务,点击编辑
  3. 打开修改弹窗
  4. 仅采集任务名称支持修改
  5. 仅支持修改当前账号创建的采集任务

2.5 删除采集任务

采集任务支持删除,但删除后数据将无法上报,确认删除后约10分钟删除生效