如何在PySpark DataFrame中基于另一列值动态生成列名？

这需求用PySpark的**透视（Pivot）**操作就能解决，withColumnRenamed是静态改列名，没法处理动态从列值生成新列的场景，具体实现步骤如下：

步骤1：创建示例原始DataFrame #

先把你提供的测试数据转换成可运行的PySpark DataFrame（方便复现）：

from pyspark.sql import SparkSession
from pyspark.sql.functions import first, col

spark = SparkSession.builder.appName("DynamicColRename").getOrCreate()

# 原始数据
raw_data = [
    ("D1", "GE", "LUX-GE-BEL", "BEL"),
    ("D1", "NL", "LUX-NL-BEL", "BEL"),
    ("D1", "FR", "LUX-FR-GER", "GER"),
    ("D2", "GE", "LUX-GE-BEL", "BEL"),
    ("D2", "PE", "LUX-PE-GER", "GER")
]

raw_df = spark.createDataFrame(raw_data, ["ID", "Lang", "Value", "Region"])

步骤2：执行透视+列名调整 #

核心逻辑是按ID分组，以Lang的值作为新列名，将Value的值映射到对应列，最后处理空值并重命名列：

# 1. 透视操作：按ID分组，以Lang为列维度，聚合Value值（ID+Lang唯一，用first/max都可）
pivoted_df = raw_df.groupBy("ID").pivot("Lang").agg(first("Value"))

# 2. 将空值替换为'-'
filled_df = pivoted_df.na.fill("-")

# 3. 给透视生成的列添加"Value-"前缀
final_df = filled_df.select(
    col("ID"),
    *[col(col_name).alias(f"Value-{col_name}") for col_name in filled_df.columns if col_name != "ID"]
)

# 查看结果
final_df.show(truncate=False)

执行后输出的结果完全匹配你的目标DataFrame：

+---+-------------+-------------+-------------+-------------+
|ID |Value-GE     |Value-NL     |Value-FR     |Value-PE     |
+---+-------------+-------------+-------------+-------------+
|D1 |LUX-GE-BEL   |LUX-NL-BEL   |LUX-FR-GER   |-            |
|D2 |LUX-GE-BEL   |-            |-            |LUX-PE-GER   |
+---+-------------+-------------+-------------+-------------+

优化提示 #

如果Lang列的可选值是已知的（比如你确定只有GE/NL/FR/PE），可以在pivot时直接指定值列表，避免Spark全表扫描获取Lang的所有取值，提升性能：

pivoted_df = raw_df.groupBy("ID").pivot("Lang", ["GE", "NL", "FR", "PE"]).agg(first("Value"))

内容的提问来源于stack exchange，提问作者shamil ray