功能概述
可视化知识处理拥有外部输出能力,支持将系统产生的离线库表回流到自己的原生系统中用于二次数据生产挖掘。通过可视化知识处理将加工好的数据输出至系统之外的数据存储中,从而实现数据资产的输出能力构建,是否允许输出可咨询数据连接的所有者,如系统支持输出,可在数据连接配置里打开开关。本文将为你介绍如何使用外部输出算子。
目前支持的外部存储:Maxcompute、OceanBase Oracle / Mysql/BytehouseCE
说明
- 该功能为 付费 功能,如有需求请请联系您的商务经理。
- 可视化知识处理外部输出(付费功能): 数据输入与内容生产逻辑自由灵活,支持通过拖拽的方式可视化地完成数据处理,并支持将生产加工后的数据回流离线数仓,实现更灵活的数据输出与应用。
使用限制
用户需具备 项目中心-权限-按内容管理-模块-数据接入-可视化知识处理-新建任务 权限。
操作步骤
操作流程图

目前支持的外部存储
数据源 | 支持版本 | 环境 |
|---|
MaxCompute | 1.20.2 | 私部&SaaS |
OceanBase Oracle / Mysql | 1.20.2 | 私部 |
Oracle | 1.20.2 | 私部 |
BytehouseCE | 1.22.2 | 私部&SaaS |
MySQL | 1.20.2 | 私部 |
具体操作步骤如下:
- 点击 数据接入 > 知识接入。

- 在数据连接目录左上角- 新建数据连接 按钮,以MaxCompute为例,选择 数据仓库-MaxCompute 数据连接。

- 在编辑页面,填写对应服务器及密钥等信息,权限模式开启 写 权限,测试连接成功后,点击 保存 即可。

- 点击 可视化知识处理 - 新建任务;

- 在任务编辑页面,可自由进行数据清洗与处理,完成后,添加 外部输出 算子;

- 选择创建好的数据连接,并填写 库表信息 即可。
输出至系统外部储存

新建输出表,相关参数如下:
- 数据连接:选择一个支持数据写入的目标数据源。
- 数据库:选择数据源下的目标数据库。
- 表名:设置数据输出的目标表名。如果该表不存在,系统将自动根据上游字段信息创建。
依赖配置
对任务的数据依赖进行配置,支持配置上游依赖和自依赖
- 上游依赖支持系统自动配置和自定义配置。
- 系统自动配置会自动生成上游数据依赖,您可以根据实际情况决定是否使用。
- 当选择自定义配置时,您可以手动新增数据依赖

进入新增依赖界面后,您可以搜索对应任务或者数据集创建依赖,选择对应任务后会生成对应的依赖。若您需要通过手动创建系统自定义依赖,可以联系技术支持获得帮助。

- 自依赖:
- 开关打开时,则当前该任务依赖过去该任务的运行情况,并支持设置数据最早回溯时间配置。若上一个周期的任务失败,无法运行下一个周期的任务。
- 当开关关闭时,则当前该任务不依赖过去该任务的运行情况,即使上一个周期的任务失败,也可以正常运行下一个周期的任务。

高级配置
支持对该算子执行任务的高级参数进行进一步配置。

监控配置
支持设定多条报警规则,每条报警规则内最多设置5条报警条件,规则之间符合或的逻辑关系,即满足任意一条则将触发通知,支持用户根据下拉框选择结果异常报警、失败报警、超时报警3种类型。
当任务执行出现符合报警条件的情况时,支持通过飞书、钉钉等方式进行通知指定用户
