可视化数据集成

在企业进行数据采集时使用过其他厂商的埋点系统，不希望重复建设埋点体系，希望DataTester能够提供数据集成的方案，对历史数据资产直接复用。为了支持数据集成的需求， DataTester采用可视化数据集成的方式支持Kafka消息订阅，通过创建并执行数据集成任务，将其他厂的UBA数据上报至火山DataTester数据服务。

• 创建数据集成任务
  • 通过输入Kafka服务器、topic等信息，进行数据源的连接
  • 将连接后的数据源内的元数据进行解析，支持客户通过数据映射配置进行字段映射
  • 支持客户对任务配置时间/周期等进行配置
  • 支持客户对任务设置任务告警
• 任务运维
  • 在任务列表通过任务开关对任务进行启动/停止
  • 通过任务日志可以查看数据任务的执行结果
  • 任务明细&邮件可以查看单次告警明细

• 流程示例：某厂商Kafka-UBA数据接入DataTester

4.1 创建集成任务

DataTester提供两种方式进行数据集成，分别为可视化配置和自定义上传配置，两种方式带来的效果一致，二选一即可（但是如果存在函数插件的诉求：V4.4.0版本需要使用自定义配置上传实现）

4.1.1 可视化配置数据集成

1.基本信息

• 新建数据集成任务，需要定义数据集成任务的基本信息
• 选择需要同步的数据源类型：UBA数据、用户属性

2.数据源连接

• 新建数据集成任务时，需输入“提供数据源”的三方/客户的消费者组名称、kafka服务器地址、kafka Topic名称，进行数据源的连接测试
• 连接测试通过后可查看源数据示例
  

3. 元数据映射

• 数据源字段映射至Tester系统字段
  

4.任务配置

• 支持客户对任务配置时间/周期等进行配置
  

5.配置监控告警

• 支持客户添加告警策略设置告警规则，并在触发告警后在邮件可收到提醒或在任务明细查看
  

4.1.2上传配置数据集成

1.自定义配置集成任务

• 选择自定义配置集成任务
  

2.创建集成任务

• 上传配置
  

3.配置模版

• 配置模版
  

4.2 任务运维

4.2.1 任务列表

• 任务列表
  
• 任务明细
  

4.2.2 查看监控告警

• 告警查看形式（1）可以在任务明细模块查看报警的详情信息
  
• 告警查看形式（2）在创建告警时选择的接收告警邮件，触发到告警后会接收到告警邮件

4.3 数据应用

通过数据集成的同步的用户行为数据，可以在data tester后台【数据管理】页面进行查看，并可使用该部分事件创建事件指标，示例如下：

4.4 集成任务失败重启

数据集成任务创建完成后，如果集成任务运行失败，会自动重启集成任务，最多可尝试重启10次，尝试重启任务的时间间隔为5 min。任务成功重启后，任务明细输出数据和失败数据监控会清零。