PySpark中根据条件移除Struct内指定字段的实现问题

PySpark的DataFrame是强类型的，Struct列的Schema是全局统一的，无法让部分行的Struct包含不同字段。但可以通过以下两种方式实现你的需求：

1. 用Map类型替代Struct（推荐，满足动态字段需求） #

将contact_info定义为Map类型，根据email_2是否为空动态添加键值对，这样空值对应的键会被直接移除：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, create_map, lit, when

# 初始化SparkSession
spark = SparkSession.builder.appName("dynamic_contact_info").getOrCreate()

# 测试数据
data = [
    ("test1@example.com", "123456789", "test1_2@example.com"),
    ("test2@example.com", "987654321", None),
    ("test3@example.com", "555555555", None)
]
df = spark.createDataFrame(data, ["email", "phone", "email_2"])

# 构造动态contact_info（Map类型）
df = df.withColumn(
    "contact_info",
    when(
        col("email_2").isNotNull(),
        create_map(
            lit("email"), col("email"),
            lit("phone"), col("phone"),
            lit("email_2"), col("email_2")
        )
    ).otherwise(
        create_map(
            lit("email"), col("email"),
            lit("phone"), col("phone")
        )
    )
)

# 查看结果
df.show(truncate=False)

输出结果中，email_2为空的行，contact_info里不会出现该键，完全符合你的需求。如果后续需要将Map转回Struct，只有当所有行的Map键一致时才能转换，否则会报错（因为Struct需要固定Schema）。

2. 保留Struct类型，输出时过滤空值字段 #

如果必须保留Struct类型，可以在输出（如写入JSON文件）时，单独对contact_info字段处理空值，同时保留其他字段的Null值：

步骤： #

• 将contact_info转为JSON字符串，设置ignoreNullFields=True过滤空值字段
• 其他字段保持原样
• 写入文件时，contact_info是处理后的JSON字符串，其他字段正常保留Null

from pyspark.sql.functions import to_json, struct

# 先构造包含所有字段的Struct
df = df.withColumn(
    "contact_info_struct",
    struct(col("email"), col("phone"), col("email_2"))
)

# 将Struct转为过滤空值的JSON字符串
df = df.withColumn(
    "contact_info",
    to_json(col("contact_info_struct"), ignoreNullFields=True)
).drop("contact_info_struct")

# 写入JSON文件时，其他字段的Null会被保留，contact_info里无空值字段
df.write.mode("overwrite").json("./contact_output")

这种方式下，DataFrame中的contact_info是字符串类型，但输出的JSON文件里，contact_info会是符合要求的JSON对象，空值字段被移除。

补充说明 #

你之前尝试的dropFields方法报错，是因为dropFields用于修改Struct的Schema（全局移除字段），无法针对单行动态处理；when-otherwise直接生成不同Struct的话，PySpark会自动合并Schema，保留所有可能的字段，空值字段仍会存在（值为Null）。

内容的提问来源于stack exchange，提问作者Aleix Molla