Azure Data Factory动态派生列：能否按列值引用对应列数据？

问题背景 #

需实现：表中source_attr列的值为其他列的列名，要将对应列的值提取到新派生列target_attr中。因源属性多达20个，无法通过硬编码IF条件实现。此前尝试表达式toString(byName(toString(byName('source_attr'))))，报错Column functions not supported in configurations。

可行解决方案 #

方案一：动态构建映射表达式

利用createMap+mapLookup组合，将所有源列打包成键值映射，再通过source_attr取值：

1. 生成动态映射表达式：
   借助ADF的动态内容能力，自动拼接所有源列的键值对。在派生列的表达式框中，使用以下动态内容生成createMap参数：

   concat('createMap(', stringJoin(map(columns(), concat('\'', name, '\', ', name)), ', '), ')')
   

2. 最终派生列表达式：
   将上述生成的映射作为mapLookup的参数，结合source_attr取值：

   toString(mapLookup(createMap('username', username, 'email', email, ...), source_attr))
   

   注：动态内容生成的表达式会自动替换...部分为所有源列的键值对，无需手动编写。

方案二：透视+逆透视组合操作

通过逆透视将列名转成行值，过滤匹配后再恢复表结构：

• 逆透视步骤：选择所有源列（如username、email等）作为逆透视列，设置逆透视键为attr_name，值列为attr_value。
• 过滤步骤：添加过滤条件attr_name == source_attr，仅保留与source_attr匹配的行。
• 派生列步骤：直接将attr_value赋值给target_attr。
• 透视步骤：将原列透视回原始结构，保留新增的target_attr列。

报错原因说明 #

byName函数不支持嵌套调用：内层byName('source_attr')返回列值，外层byName需要字符串类型的列名参数，即便用toString转换，ADF数据流的表达式解析逻辑也不允许这种嵌套的列函数调用，因此触发报错。

内容的提问来源于stack exchange，提问作者Gordon Little