Azure Data Factory数据流派生列中动态引用列名的实现

方案一：基于管道参数$UpdateColumns的动态列映射 #

利用数据流的动态列映射功能，结合管道传入的列名列表批量生成处理逻辑：

1. 打开派生列转换，切换到动态列映射模式（点击右上角的动态内容按钮，或选择"添加动态列"）
2. 粘贴以下表达式，自动遍历$UpdateColumns中的所有列并生成处理规则：

map(split($UpdateColumns, ','), 
    (colName) => {
        name: colName,
        value: iif(isNull(byName(colName)), toLong(byName(replace(colName, '_cnt', '_cnt_avg'))), toLong(byName(colName)))
    }
)

• 逻辑说明：拆分参数得到列名数组，对每个列生成映射规则——列名保留原_cnt后缀名称，值为空时取对应_cnt_avg列的值，否则保留原值。

方案二：自动匹配列模式（无需依赖管道参数） #

如果希望自动识别所有以_cnt结尾的列，用列模式功能更高效：

1. 在派生列转换中，点击"添加列"下拉菜单，选择"列模式"
2. 匹配规则选择「名称匹配正则表达式」，输入正则：.*_cnt$，自动筛选所有目标列
3. 在值表达式中输入：

iif(isNull($$), toLong(byName(replace(@, '_cnt', '_cnt_avg'))), toLong($$))

• 关键说明：列模式中@代表当前匹配列的名称，$$代表列值，直接解决你之前无法动态获取列名的问题。

注意事项 #

• 确保所有_cnt列都有对应的_cnt_avg列，否则byName会抛出列不存在的错误，可额外添加判断（如iif(exists(replace(@, '_cnt', '_cnt_avg')), ..., 0)）处理异常情况
• 列名大小写敏感，管道参数中的列名需与数据流内列名完全一致
• 正则表达式可根据实际需求调整，比如匹配特定前缀的_cnt列可修改为prefix.*_cnt$

内容的提问来源于stack exchange，提问作者Kyle Butler