PySpark join后使用表名.列名格式无法删除列，是否有更优解决方案？

Spark执行join操作后，生成的结果DataFrame列名不会保留关联表的别名前缀，因此你调用drop('a.cat')时，Spark无法匹配到对应列，导致重复的cat列无法被删除。

• 方案1：join时通过别名引用列对象执行删除
  不需要修改join逻辑，直接传入列对象而非带前缀的字符串即可正确识别要删除的列，示例代码：

from pyspark.sql import functions as F
import pandas as pd

a = spark.createDataFrame(pd.DataFrame({'id':[1,2],'cat':['a','b']}))
b = spark.createDataFrame(pd.DataFrame({'id':[3,4],'cat':[None,'b']}))
c = spark.createDataFrame(pd.DataFrame({'id':[1,4],'cat':['c','d']}))
p = spark.createDataFrame(pd.DataFrame({'id':[1,2,3,4,5]}))

res = (
    p
    .join(a.alias('a'),'id', how='left') # 可根据业务需求调整join类型，示例保留主表全量id
    .join(b.alias('b'),'id', how='left')
    .join(c.alias('c'),'id', how='left')
    .withColumn('category', F.coalesce(a['cat'], b['cat'], c['cat']))
    .drop(a['cat'], b['cat'], c['cat'])
)
print(res.columns)
# 输出：['id', 'category']

• 方案2：关联小表前提前重命名冲突列
  在关联前将各小表的cat列重命名为唯一名称，后续删除时直接对应唯一列名即可，示例：

res = (
    p
    .join(a.select('id', a['cat'].alias('a_cat')),'id', how='left')
    .join(b.select('id', b['cat'].alias('b_cat')),'id', how='left')
    .join(c.select('id', c['cat'].alias('c_cat')),'id', how='left')
    .withColumn('category', F.coalesce('a_cat', 'b_cat', 'c_cat'))
    .drop('a_cat', 'b_cat', 'c_cat')
)

• 方案3：直接筛选保留需要的列
  如果结果需要保留的列不多，直接用select指定要保留的列，逻辑更清晰不容易出错：

res = (
    p
    .join(a,'id', how='left')
    .join(b,'id', how='left')
    .join(c,'id', how='left')
    .withColumn('category', F.coalesce(a['cat'], b['cat'], c['cat']))
    .select('id', 'category')
)

内容的提问来源于stack exchange，提问作者sigh