Spark中移除DataFrame列别名的简便实现方法咨询

你的场景是通过右关联保留原DataFrame的列，但select("df.*")导致列名带上了表别名前缀，没法直接用列名引用。下面给你几种更简便高效的解决方法：

方法1：用半关联直接实现需求（最推荐） #

你的核心需求其实是获取原DataFramedf中与过滤后的df_1匹配的行，并且保留df的所有列。Spark的**半关联（semi join）**正好对应这个场景，它只返回左表中与右表匹配的行，且自动保留左表的原始列名，完全不会有别名问题：

x = [(1,2),(2,3),(3,4)]
x_filtered = [(1,2),(3,4)]

df = spark.createDataFrame(x, schema=['src','trgt'])
df_1 = spark.createDataFrame(x_filtered, schema=['src', 'trgt'])

# 半关联直接得到目标结果，列名无别名前缀
SOLVED_DF = df.join(df_1, ["src", "trgt"], "semi")

# 现在可以直接引用列名
SOLVED_DF.src

这种方式既简洁又高效，避免了不必要的列名处理。

方法2：关联时显式重命名列（适配必须用右关联的场景） #

如果因为某些原因必须使用右关联，那可以在select时批量将带别名的列重命名为原始列名，不用逐个手动写：

from pyspark.sql.functions import col

PROBLEM_DF = df.alias("df").join(df_1.alias("df_1"), ["src", "trgt"], 'right')
# 批量将df.*的列重命名为原始列名
SOLVED_DF = PROBLEM_DF.select(*[col(f"df.{c}").alias(c) for c in df.columns])

# 直接引用列名
SOLVED_DF.src

方法3：批量移除已生成DF的列名前缀 #

如果已经得到了带别名前缀的PROBLEM_DF，可以通过批量替换列名前缀来修复：

from pyspark.sql.functions import col

# 遍历所有列，移除"df."前缀
SOLVED_DF = PROBLEM_DF.select(*[col(c).alias(c.replace("df.", "")) for c in PROBLEM_DF.columns])

SOLVED_DF.src

注意：避免使用collect()重新创建DF #

你之前用spark.createDataFrame(PROBLEM_DF.collect())的方法会把全量数据拉到Driver端，数据量大时极易引发内存溢出，绝对不适合生产环境使用。

内容的提问来源于stack exchange，提问作者Syrius