在ADF Data Flow中将复杂类型设为null并省略空对象

问题根源 #

你之前的表达式逻辑搞反了，而且ADF Data Flow里生成空值必须用null()函数，直接写null无法被正确解析。另外，你需要判断的是所有属性都为null时把整个对象设为null，而非所有属性都不为null才保留对象。

解决方案 #

方法1：逐个属性判断（适合属性少的场景）

在Derived Column转换中，针对目标复杂类型字段使用以下表达式：

iif(
    isNull(complexType.field) && isNull(complexType.field1) && isNull(complexType.field2),
    null(),
    complexType
)

• 逻辑：如果complexType的所有属性均为null，就返回null()，否则保留原对象。这样Sink会像处理null原始类型一样，自动省略该字段，不会输出"complexType": {}。

方法2：批量判断属性（适合属性多的场景）

如果复杂类型属性较多，不想逐个写判断条件，可以用map+reduce遍历所有属性：

iif(
    reduce(
        map(complexType, (value, key) => value),
        true,
        (acc, curr) => acc && isNull(curr)
    ),
    null(),
    complexType
)

• 逻辑：先把复杂类型的所有属性值转成数组，再用reduce判断数组内所有值是否均为null，是则返回null()，否则保留原对象。

验证步骤 #

1. 保存Derived Column配置后，启动Data Flow调试，确认转换后的字段值：当所有属性为null时，该复杂类型字段会显示为null，而非空对象{}。
2. 运行Sink后，输出的JSON中将不会出现"complexType": {}这类条目，达到预期的省略效果。

内容的提问来源于stack exchange，提问作者sssithhh