You need to enable JavaScript to run this app.
导航

创建任务

最近更新时间2023.12.12 16:49:21

首次发布时间2022.10.17 16:50:41

1. 产品概述

可视化建模任务支持抽取数据源中的数据,通过拖拽形式添加数据处理节点,将处理完成的数据输出到目标源中。
1.1数据输入
已支持输入数据源详见「数据连接概述」,也支持数据集、自定义SQL的方式输入数据。

1.2节点处理
已支持处理节点有四类,包括:
(1)数据清洗:字段设置、筛选行、添加计算列、聚合、连接、合并、行列转置等
(2)特征工程:二值化、列归一化、主成分分析法、笛卡尔积等
(3)机器学习
(4)自然语言处理
1.3数据输出
已支持输出数据集:以Hive、ClickHouse存储的数据集

2. 使用限制

用户需要具备 项目编辑权限 即可创建可视化建模任务。

3. 操作步骤

第一步 在「可视化建模」模块下点击新建,设置名称后跳转到新建任务页面;

第二步 在新建任务页面添加数据连接;可以选择添加多种类型的数据连接,也可以选择已经加工处理之后的数据集或者对数据集做自定义SQL ;

第三步 将表拖拽进画布区域,先点击「执行」,之后切换到「预览探查」模块,然后在下方切换可预览表结构和明细数据;

第四步 通过点击节点右侧加号添加并配置处理节点,拖拽上一节点右侧加号和下一节点左侧原点连线,配置节点流转关系。点击“应用”后可展开处理后的数据结果预览 ;

第五步 添加输出节点,选择输出到已有表或新建表;
第六步 打开运行配置弹窗,编辑运行周期,或手动运行;

第七步 保存任务配置,点击左上角返回可跳转到任务详情;

第八步 回溯历史数据。 可以在「任务编辑页-输出节点」、「任务详情页-处理流程tab&运行记录tab」选择想要运行的输出节点和想要回溯的时间段。


4. 功能介绍

4.1 常用算子(处理节点)

可视化建模支持字段设置、合并行、聚合运算、补充缺失值、行列转换(高表宽表转换)等常用算子,也支持一些特征工程、机器学习、自然语言处理算子。

4.2 保存与运行

4.2.1 节点执行

配置中可以选中某节点并运行节点,进行数据预览和运行检查。需注意的是,当上游节点更改后,必须重新执行上游节点后才能执行当前及下游节点。

  • 执行该节点:运行当前节点,需要上游节点均执行完成

  • 执行到此处:依次运行上游未执行的节点和当前节点

  • 从此处开始执行:依次运行当前节点和后续节点,需要上游节点均执行完成,一般在当前节点更改后使用


节点执行完成后,节点旁会有绿色✅标记,表示当前节点已完成执行。

4.2.2 保存

模型配置完成时,可以点击右上角的保存或另存当前模型。如果模型未完成,也可以将运行频率调整为手动运行后点保存或暂存当前模型。

返回可视化建模页面,点击当前任务的「运行记录」,可以手动运行。


4.3 预览数据

在可视化建模任务的编辑页面,选择数据连接后,支持便捷的预览能力,可预览 明细数据、表结构、数据探查。点击每列数据的“▼”按钮,支持快速选择算子,进行数据处理。