Pyspark使用explode展开嵌套JSON时如何避免空值行被删除
问题根因
explode() 函数的默认行为就是:当目标数组字段为null、空数组时,会直接丢弃对应的整行数据,这就是你扁平化后行数少于原数据行数的直接原因。
解决方案
将explode()替换为explode_outer()即可,该函数会保留所有原行:如果目标数组为空/为null,炸开后的对应字段会赋值为null,不会删除原行。
修改后的代码如下:
feed_df = feed.select( "animal_uuid","timestamp", "total_fed", "total_visits", explode_outer("feed_part_totals").alias("feed_part_totalsExplode") ).select("animal_uuid","timestamp", "total_fed", "total_visits", "feed_part_totalsExplode.*")
补充说明
如果业务需要可以在后续步骤调用fillna()方法,给炸开后的空字段填充默认值,例如把缺失的投喂统计字段填充为0,可根据实际业务逻辑调整。
内容的提问来源于stack exchange,提问作者brenda89
相关产品推荐
相关产品推荐

