在Azure Dataflow解析动态JSON时如何检查JSON列是否存在

问题场景 #

处理动态结构JSON文件时，80%属性为固定项，剩余20%属性可能存在或缺失。尝试通过展平转换加载数据时，因可选属性缺失报错；添加派生转换用byName()函数检查属性是否存在，返回值始终为NULL，无法实现“属性存在时取值，缺失时返回NULL”的预期。

原派生转换代码：

iif(isNull(toString(byName('value.fields.{System.State}'))), toString(null()), toString(byName('value.fields.{System.State}')))

问题原因 #

byName()函数仅支持引用顶层列名，无法直接解析嵌套JSON的属性路径（如value.fields.{System.State}），因此始终返回NULL，无法正确判断嵌套属性是否存在。

解决方案 #

使用exists()函数检查嵌套属性是否存在，或直接用getObject()安全获取嵌套属性值：

方案1：exists() + 直接引用 #

通过exists()判断嵌套对象中是否包含目标属性，再决定取值或返回NULL：

iif(exists(value.fields, '{System.State}'), toString(value.fields.{System.State}), toString(null()))

方案2：getObject() 安全获取 #

getObject()函数在目标属性不存在时自动返回NULL，无需额外判断：

toString(getObject(value.fields, '{System.State}'))

验证步骤 #

1. 将派生转换后的列替换展平转换中对应的原始嵌套属性
2. 使用包含缺失属性的JSON样本测试运行，确认展平转换不再报错，缺失属性列值为NULL

内容的提问来源于stack exchange，提问作者shilpesh pillai