Azure Data Factory数据流写入Cosmos DB时丢失含NULL值列问题咨询
Azure Data Factory数据流写入Cosmos DB丢失全NULL列解决方法
问题根因
该问题由两个ADF数据流的默认逻辑共同导致:
- ADF数据流内部默认开启全NULL列优化剔除逻辑,即使已开启schema漂移,也会自动删除整列值全为NULL的字段,减少不必要的计算资源消耗。Copy Activity无该优化逻辑,因此可以正常保留全NULL列。
- Cosmos DB Sink的默认序列化配置开启了
忽略空值开关,会自动跳过写入值为NULL的字段,仅写入有实值的字段。
Sink预览、Inspect标签页可正常显示所有列,说明数据流内部已识别到全部列的存在,问题仅出在最终写入的序列化环节。
解决步骤
无需手动定义任何schema,按以下顺序调整配置即可实现全量数据原样复制:
- 关闭Cosmos DB Sink的空值忽略配置
进入数据流Cosmos DB Sink的设置标签页,找到序列化配置下的忽略空值选项,关闭该开关,允许NULL值字段正常写入到Cosmos DB。 - 强制声明所有列避免优化剔除
在源转换和Sink转换之间添加派生列转换,点击「添加规则」选择「匹配所有列」,表达式填写$$即可。该操作会为所有输入列生成显式的输出声明,避免全NULL列被数据流的优化逻辑自动删除。 - 配置合理的RU上限
在Sink设置的吞吐量限制选项中填写RU上限值,建议设置为Cosmos DB预留RU的70%~80%,避免任务运行时耗尽全部实例资源。
验证方式
调整配置后先执行Sink数据预览,确认所有包含NULL的列均正常展示;测试运行少量数据后,到Cosmos DB对应容器中检查字段是否正常保留NULL值即可。
内容的提问来源于stack exchange,提问作者UnknownBeef
相关产品推荐
相关产品推荐

