You need to enable JavaScript to run this app. Pyspark使用explode展开嵌套JSON时如何避免空值行被删除
优惠活动
大模型
产品
解决方案
定价
更多

Pyspark使用explode展开嵌套JSON时如何避免空值行被删除

问题根因

explode() 函数的默认行为就是:当目标数组字段为null、空数组时,会直接丢弃对应的整行数据,这就是你扁平化后行数少于原数据行数的直接原因。

解决方案

将explode()替换为explode_outer()即可,该函数会保留所有原行:如果目标数组为空/为null,炸开后的对应字段会赋值为null,不会删除原行。

修改后的代码如下:

feed_df = feed.select( "animal_uuid","timestamp", "total_fed", "total_visits",
explode_outer("feed_part_totals").alias("feed_part_totalsExplode")
).select("animal_uuid","timestamp", "total_fed", "total_visits", "feed_part_totalsExplode.*")
补充说明

如果业务需要可以在后续步骤调用fillna()方法,给炸开后的空字段填充默认值,例如把缺失的投喂统计字段填充为0,可根据实际业务逻辑调整。

内容的提问来源于stack exchange,提问作者brenda89

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 20:06:04