You need to enable JavaScript to run this app.
导航

分流输出

最近更新时间2024.03.28 11:23:42

首次发布时间2024.03.28 11:23:42

1.功能概述

在可视化建模模块,输出算子大类中支持实时分流输出算子。用户通过分流算子可以将一条实时流直接处理成多条流输出,分流过程中采用规则配置,满足条件的实时流为流入下面一个子流进行输出。

分流算子可以直接对接数据清洗或输出算子,也可独立运行使用,独立运行时会输出到内置Topic中用于系统消费。一条实时流根据事件行为或应用appid拆分成多条流,过程中只会启用一个Flink任务,是高效利用计算资源的一种算子能力。

2.操作步骤

2.1 添加分流输出算子

在可视化建模任务中,点击算子的添加按钮,即可看到输出类算子中的“分流输出”,点击选择。功能注意事项如下:
(1)输入限制:读节点和数据清洗节点。
(2)输出限制:为最终算子,不可接下游算子。

2.2 配置分流输出算子

通过分流算子可以将一条实时流直接处理成多条流输出,分流过程中采用规则配置,满足条件的实时流为流入下面一个子流进行输出,输出以数据集的形式输出,可根据需要设置数据集的生命周期以避免数据重复存储。

点击选择添加了分流输出算子后,您可以针对不同的分流进行具体的配置,添加和删除分流配置。需要注意的是,分流存在数量限制:目前支持10个分流。

具体配置如下:
(1)新建输出数据集,您还可以前往编辑维度指标;
(2)配置筛选条件:通过字段条件构建且/或的关系将满足条件的数据输出,点击逻辑树中的「且」、「或」可切换且/或关系。

(3)您可以点击添加分流,继续创建并配置;
(4)点击右上角的删除按钮,即可进行删除。

注意

(1)分流配置限制:添加之后不准为空,如果为空,保存时将会提示您“存在配置项为空”。

(2)输出数据集:

  • 名称规则:只允许英文/数字/下划线,不允许出现空格及其他特殊字符,最长不超过50字符,且名称不可重复;

  • 增加开关配置(或复用离线开关):支持编辑kafka topic/CK 库名和表名,开启后可以自定义库名和表名及Topic名称;

  • 开关关闭:分流产生的Topic建议增加前置以便识别分流产生的Topic。