DataFrame删除列失效问题排查及指定列保留实现方案

嘿，这个问题我太熟了，帮你拆解清楚～

为什么drop()后Schema没变化？ #

核心原因是Spark对嵌套列的drop()逻辑和顶级列不一样：

• 当你执行df.drop("person.name")或者df.drop(col("person.name"))时，Spark会默认去匹配顶级列名，但你的person是一个嵌套的struct类型列，person.name只是这个struct里的子字段，并不是一个独立的顶级列。
• Spark找不到和"person.name"完全匹配的顶级列，所以这个drop()操作相当于“无操作”，自然不会改变DataFrame的Schema。

如何得到包含person.age和car的结果？ #

有两种常用且清晰的方法，推荐第一种：

方法1：直接select()需要的字段（最直观高效） #

既然明确知道要保留person.age和car，直接用select()指定这些字段是最稳妥的方式：

# Python 示例
new_df = df.select("person.age", "car")

# 或者用列对象写法（适合更复杂的列操作）
from pyspark.sql.functions import col
new_df = df.select(col("person.age"), col("car"))

方法2：修改嵌套Struct后保留（适合必须用drop的场景） #

如果一定要通过drop()来实现，需要先重构嵌套的person列，删除其中的name字段，再保留修改后的列和car：

from pyspark.sql.functions import struct
# 重新构造person列，只保留age字段
new_df = df.withColumn("person", struct(col("person.age"))).select("person", "car")

# 或者更简洁的写法，结合select和struct
new_df = df.select("car", struct(col("person.age")).alias("person"))

小提示：实际开发中优先用select()直接指定需要的字段，比删除不需要的字段更清晰，也能避免因嵌套结构复杂导致的误操作。

内容的提问来源于stack exchange，提问作者belka