如何根据动态Schema创建Spark DataFrame列名映射并复用

一、动态生成列名映射表 #

如果DataFrame的Schema是动态变化的，无需手动写死映射关系，直接从DataFrame的列名列表就能生成映射表：

# 提取DataFrame所有原始列名
original_cols = df.columns

# 示例：给所有原始列名添加"new_"前缀生成映射
col_map = {col: f"new_{col}" for col in original_cols}

要是需要针对特定列自定义映射规则，在基础映射上覆盖即可：

# 先按统一规则生成基础映射
col_map = {col: f"new_{col}" for col in original_cols}
# 覆盖指定列的映射关系
col_map["name"] = "user_name"
col_map["age"] = "user_age"

二、应用映射重命名DataFrame列 #

生成映射表后，用以下两种方式批量重命名列：

方法1：select + alias 方式

df_renamed = df.select([col(c).alias(col_map[c]) for c in original_cols])

方法2：toDF 直接传入新列名列表

df_renamed = df.toDF(*[col_map[c] for c in original_cols])

执行后查看重命名结果：

df_renamed.show()

输出示例：

+--------+-------+
|new_name|new_age|
+--------+-------+
|   Alice|      2|
|     Bob|      5|
+--------+-------+

三、后续使用新列名读取数据 #

重命名完成后，直接用新列名操作数据即可：

# 读取单个新列数据
df_renamed.select("new_name").show()

# 基于新列名做过滤操作
df_renamed.filter(col("new_age") > 3).show()

内容的提问来源于stack exchange，提问作者Panda