PySpark 2.4连接DataFrame后批量删除列报错求助

问题重现 #

你在PySpark 2.4中执行DataFrame连接操作后，尝试删除来自workers1的address和role列时遇到异常：单独删除某一列时正常，但同时删除两列会触发TypeError: each col in the param list should be a string错误。相关代码及报错情况如下：

from pyspark.sql import functions as f

workers1 = spark.createDataFrame(
    [("barmen", "Paris", "25"),
    ("waitress", None, "22")],
    ["role", "address", "age"])

workers2 = spark.createDataFrame(
    [("barmen", "Paris"),
    (None, "Berlin")],
    ["role", "address"])

columns_to_join_on = ["role", "address"]

joined_workers = workers1.alias("workers1").join(
    workers2.alias("workers2"),
    [getattr(workers1, col).eqNullSafe(getattr(workers2, col)) for col in columns_to_join_on],
    how="right",
)

# 单独删除一列正常执行
joined_workers.drop(*[f.col("workers1.role")]).toPandas()
joined_workers.drop(*[f.col("workers1.address")]).toPandas()

# 同时删除两列触发报错
joined_workers.drop(*[f.col("workers1.role"), f.col("workers1.address")]).toPandas()
# TypeError: each col in the param list should be a string

问题原因 #

PySpark 2.4的drop()方法在处理多个Column对象参数时存在兼容性逻辑问题：单个Column对象可以被正确解析，但通过*解包传入多个Column对象时，内部参数校验会强制要求每个参数为字符串类型，从而触发报错。

解决方案 #

方案1：直接传入带别名的字符串列名（最简便） #

无需使用f.col()，直接传入字符串形式的带别名列名，drop()支持同时传入多个字符串参数：

# 直接传入两个带别名的列名字符串
joined_workers.drop("workers1.role", "workers1.address").toPandas()

执行后得到预期结果：

age     role    address
0  None    None    Berlin
1    25  barmen    Paris

方案2：解包字符串列表（适合动态生成列名场景） #

如果需要动态生成要删除的列名列表，可将字符串列表解包传入：

cols_to_drop = ["workers1.role", "workers1.address"]
joined_workers.drop(*cols_to_drop).toPandas()

方案3：通过select保留目标列（反向操作思路） #

如果要保留的列更少，可以反向选择列，避免删除操作：

# 保留所有非workers1前缀的列
result = joined_workers.select([col for col in joined_workers.columns if not col.startswith("workers1.")])
result.toPandas()

额外优化建议 #

在连接操作前给重复列名重命名，可避免后续列名混淆：

# 提前给workers1的列添加前缀重命名
workers1_renamed = workers1.alias("workers1").withColumnRenamed("role", "w1_role").withColumnRenamed("address", "w1_address")
joined_workers = workers1_renamed.join(
    workers2.alias("workers2"),
    [workers1_renamed.w1_role.eqNullSafe(workers2.role), workers1_renamed.w1_address.eqNullSafe(workers2.address)],
    how="right"
)
# 后续删除直接使用新列名
joined_workers.drop("w1_role", "w1_address").toPandas()

内容的提问来源于stack exchange，提问作者amit