Azure Data Factory中Dataflow与Flowlet的区别及复用方式咨询

一、Dataflow 与 Flowlet 的核心差异 #

• 定位与粒度：Dataflow是独立的端到端数据处理工作流，负责从数据源抽取、转换到加载的完整ETL/ELT任务；Flowlet是Dataflow内部的模块化可复用组件，聚焦单一通用处理逻辑，比如统一的数据清洗、格式转换规则。
• 执行独立性：Dataflow可作为独立资源触发执行，拥有自己的生命周期和运行上下文；Flowlet无法单独运行，必须嵌入到某个Dataflow中，依赖宿主Dataflow的数据源连接、参数等上下文信息。
• 输入输出能力：Dataflow支持多输入源和多输出接收器，能处理复杂的多源合并、分支输出场景；Flowlet仅支持单一输入和单一输出，是专注于特定转换逻辑的“功能单元”。
• 参数作用范围：Dataflow的参数是全局级别的，可在整个工作流的所有节点中使用；Flowlet的参数是局部级别的，仅在自身范围内生效，需由引用它的Dataflow传入具体值。
• 适用场景：Dataflow适合构建完整的数据管道，比如从多个业务系统抽取数据，经过多步转换后加载到数据仓库；Flowlet适合封装重复使用的转换逻辑，比如多个Dataflow都需要的日期标准化、空值填充逻辑，避免重复开发。

二、Flowlet 的复用实现方式 #

1. 创建可复用 Flowlet #

在Dataflow编辑器中，框选需要复用的一组转换节点（比如过滤、派生列、聚合的组合），右键选择「创建 Flowlet」，定义该Flowlet的输入数据集、输出数据集，以及需要的局部参数（如转换规则、过滤条件），完成后保存为独立的Flowlet资源。

2. 跨 Dataflow 引用 Flowlet #

打开需要复用该逻辑的目标Dataflow，在左侧资源面板的「Flowlets」分类下找到已创建的Flowlet，直接拖拽到画布中。配置Flowlet的输入（连接当前Dataflow的上游数据源或转换结果）和输出（连接到下游转换节点或接收器），同时传入对应的参数值（比如将去重字段名设为customer_id或order_id）。

3. 版本化管理迭代 #

当需要修改Flowlet的逻辑时，直接编辑原Flowlet即可，所有引用它的Dataflow会自动同步更新。如果需要保留旧版本的逻辑，可通过「另存为」功能创建Flowlet的新版本，再让特定的Dataflow切换引用新版本，实现新旧逻辑并存。

4. 参数化提升复用灵活性 #

为Flowlet定义通用化的参数，避免硬编码逻辑。例如创建一个「空值处理Flowlet」，将需要处理的字段名、替换值设为参数，这样在不同Dataflow中引用时，只需传入不同的字段和替换值，就能适配不同的空值处理场景。

内容的提问来源于stack exchange，提问作者Shakti Singh Chauhan