Upsolver Snowflake Output写入子表产生NULL记录问题排查与解决

成因 #

• JSON路径配置错误：Upsolver解析子表字段时，指定的路径与实际嵌套JSON结构不匹配，无法定位到子表数据，最终写入NULL。比如实际结构是{"parent": {"child_list": [{"name": "test"}]}}，但配置路径写成parent.children，就会导致解析失败。
• 子数据缺失/为空：输入流中部分父记录对应的子数组字段不存在或为空数组，Upsolver默认会生成NULL记录填充子表，而非跳过。
• 数据类型不兼容：Snowflake子表字段定义的类型与JSON中子字段的实际类型不匹配，解析时转换失败，最终写入NULL。例如子表字段设为INT，但JSON中对应字段是无法转换的字符串。
• 规范化规则配置不当：设置父子表关联时，未启用"仅当子数据存在时生成记录"的规则，导致无数据时仍插入NULL行。

解决方法 #

• 修正JSON路径：在Upsolver的Snowflake Output配置中，对照输入流的原始JSON结构（可通过Upsolver数据预览查看），逐一核对子表字段的路径，确保完全匹配。
• 添加子数据过滤条件：在Upsolver转换规则中，为子表设置过滤逻辑，仅当子数组存在且不为空时生成记录。示例规则：IS_NOT_NULL(child_array) AND ARRAY_LENGTH(child_array) > 0。
• 匹配数据类型：要么调整Snowflake子表的字段类型，要么在Upsolver中添加转换规则，将JSON子字段转为对应类型。比如用CAST(child_id AS INT)完成类型转换。
• 调整规范化配置：在Upsolver的父子表设置界面，找到处理空子数据的选项，选择"跳过空记录"而非"插入NULL记录"。
• 单条数据测试验证：抽取一条包含正常子数据的记录单独测试写入流程，确认子表能正确生成数据后，再排查异常数据的具体情况。

内容的提问来源于stack exchange，提问作者Ajay C