PySpark中新增大写列CHANNEL_ID被意外删除问题排查

问题根源 #

这是PySpark默认列名大小写不敏感导致的：
Spark默认通过配置spark.sql.caseSensitive=false关闭列名大小写敏感性，此时channel_id和CHANNEL_ID会被视为同一列。当你用withColumns新增CHANNEL_ID后，DataFrame中同时存在原小写列和新大写列，但Spark无法区分两者；执行.drop("channel_id")时，会匹配所有大小写变体的列，最终把新创建的CHANNEL_ID也一并删除。

解决办法 #

1. 开启大小写敏感模式

在创建SparkSession时配置spark.sql.caseSensitive=true，让Spark严格区分列名大小写：

import pyspark.sql.functions as f
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.sql.caseSensitive", "true") \
    .getOrCreate()

df = spark.createDataFrame(
    [(1, 101), (2, 102), (3, 103)], 
    schema="id int, channel_id int"
)

df.withColumns(
    {
        "CHANNEL_ID": f.when(f.col("channel_id") == 101, "First channel")
        .when(f.col("channel_id") == 102, "Second channel")
        .otherwise("-")
    }
).drop("channel_id").show()

此时drop("channel_id")只会删除原小写列，新的CHANNEL_ID列会保留。

2. 先重命名原列再处理

先将原channel_id重命名为临时名称，避免大小写冲突，新增目标列后再删除临时列：

df.withColumnRenamed("channel_id", "temp_channel") \
  .withColumn(
      "CHANNEL_ID",
      f.when(f.col("temp_channel") == 101, "First channel")
      .when(f.col("temp_channel") == 102, "Second channel")
      .otherwise("-")
  ) \
  .drop("temp_channel") \
  .show()

3. 使用列对象精确删除

调用drop时传入f.col("channel_id")而非字符串，利用列对象的元数据精确匹配原列：

df.withColumns(
    {
        "CHANNEL_ID": f.when(f.col("channel_id") == 101, "First channel")
        .when(f.col("channel_id") == 102, "Second channel")
        .otherwise("-")
    }
).drop(f.col("channel_id")).show()

内容的提问来源于stack exchange，提问作者Dani