使用Spark to_json时如何排除空数组与空结构体？

你当前使用to_json时，结果会包含空的数组和结构体（比如返回{"col1":"foo","type":{"arrayColumn":[{}]}}），但期望只保留非空字段（比如{"col1":"foo"}），可以通过以下两种方法实现：

方法1：条件判断动态构建结构体 #

利用Spark的when函数结合空值检查，只在字段非空时将其加入序列化的结构体中，无需额外自定义函数，适合简单场景。

修改后的完整代码：

from pyspark.sql.functions import to_json, struct, array, lit, when, col, size, isnull

somedata = """
col1
foo
bar
baz
"""
lines = somedata.strip().split('\n')
header = lines[0].split(',')
rows = [line.split(',') for line in lines[1:]]

df = spark.createDataFrame(rows, header)
# 原逻辑构建type字段
df2 = df.withColumn("type", struct(array(struct(lit(None).alias("a"), lit(None).alias("b"))).alias("arrayColumn")))

# 定义判断条件：arrayColumn数组长度为1，且其中的结构体所有字段为null
is_type_empty = (size(col("type.arrayColumn")) == 1) & isnull(col("type.arrayColumn")[0].a) & isnull(col("type.arrayColumn")[0].b)

# 动态生成msg结构体：type为空时只保留col1，否则保留全部字段
df3 = df2.withColumn(
    "msg",
    when(
        is_type_empty,
        struct(col("col1"))
    ).otherwise(
        struct(col("col1"), col("type"))
    )
)

df3.select(to_json("msg")).show(truncate=False)

运行后就能得到你期望的结果，空的type字段会被自动排除。

方法2：自定义UDF处理复杂空结构 #

如果你的数据结构更复杂（比如数组包含多个空结构体、结构体有更多字段），可以写自定义UDF来实现通用的空结构判断。

示例代码：

from pyspark.sql.types import BooleanType
from pyspark.sql.functions import udf, to_json, struct, array, lit, when, col

# 自定义UDF：判断数组是否仅包含空结构体（所有字段为null）
def is_empty_struct_array(arr):
    if not arr or len(arr) != 1:
        return False
    struct_obj = arr[0]
    return all(v is None for v in struct_obj.values())

is_empty_struct_array_udf = udf(is_empty_struct_array, BooleanType())

somedata = """
col1
foo
bar
baz
"""
lines = somedata.strip().split('\n')
header = lines[0].split(',')
rows = [line.split(',') for line in lines[1:]]

df = spark.createDataFrame(rows, header)
df2 = df.withColumn("type", struct(array(struct(lit(None).alias("a"), lit(None).alias("b"))).alias("arrayColumn")))

# 使用UDF判断type是否为空
is_type_empty = is_empty_struct_array_udf(col("type.arrayColumn"))

# 动态构建msg结构体
df3 = df2.withColumn(
    "msg",
    when(is_type_empty, struct(col("col1"))).otherwise(struct(col("col1"), col("type")))
)

df3.select(to_json("msg")).show(truncate=False)

注意事项 #

• Spark不会自动忽略空结构体/数组，必须显式判断过滤；
• 条件判断逻辑需要根据你的实际数据结构调整，比如如果数组允许多个元素但全为空，就要修改判断规则；
• 优先用方法1，避免UDF带来的性能开销，复杂场景再考虑方法2。

内容的提问来源于stack exchange，提问作者Andrew