Azure Data Factory中删除全NULL列且规避漂移列问题的方法

方案思路 #

通过分支数据流分别统计列的非空状态，关联统计结果与原始数据后，筛选保留非全NULL列，全程确保列均为显式定义，避免漂移列问题。

具体步骤 #

1. 拆分数据流分支 #

在源数据集后添加分流转换，将数据拆为两个分支：

• 分支1：保留原始全量数据（命名为raw_data）
• 分支2：用于统计每列的非空记录数（命名为col_stats）

2. 统计列非空计数 #

在col_stats分支添加聚合转换：

• 不设置任何分组键（整个数据集作为单个分组）
• 使用列模式批量生成统计列：
  • 选择「列模式」，正则匹配所有列（输入.*）
  • 聚合表达式：countIf(!isNull($$))，别名设为cnt_$$（例：原列order_id生成cnt_order_id）
• 此分支最终输出1行数据，每个cnt_*列对应原列的非空记录数

3. 关联统计结果与原始数据 #

添加查找转换，以raw_data为主数据流，查找col_stats分支的数据：

• 查找类型选择「广播」（统计分支仅1行数据，广播性能最优）
• 无需设置匹配条件，直接关联唯一的统计行

4. 生成需保留的列列表 #

添加派生列转换，创建数组类型列keep_columns，表达式为：

filter(keys(), (colName) => byName(concat('cnt_', colName)) > 0)

• keys()：获取原始所有显式列的名称列表
• byName(concat('cnt_', colName))：拼接列名获取对应统计值
• filter(...)：筛选出统计值>0的列（即非全NULL列）

5. 筛选保留目标列 #

添加选择转换：

• 切换到「列模式」，选择「基于规则的列」
• 规则设置：列名匹配*，表达式contains(keep_columns, $$)
• 在「排除」列表中移除所有cnt_*临时统计列和keep_columns派生列

6. 后续处理 #

此时输出的数据流仅保留非全NULL列，且所有列均为显式列，可直接用于join等后续转换操作，不会出现漂移列提示。

关键提示 #

• 列模式批量处理适配列名动态变化的场景，无需手动逐个配置
• 广播查找确保统计结果高效关联原始数据，无性能瓶颈
• keys()仅返回显式列，不会引入漂移列

内容的提问来源于stack exchange，提问作者fhb