基于输入与条件在PySpark中实现动态列创建及DataFrame映射

核心思路 #

基于df2存储的列名映射关系，先筛选出当前动态df1中实际存在的原列名，再通过列重命名+精准筛选，得到仅包含映射后列名的最终DataFrame。

步骤与代码示例 #

假设df2包含两列：original_col（对应df1的原列名）和target_col（映射后的目标列名），以下是具体实现：

1. 导入依赖并定义示例数据（实际使用时替换为你的真实DataFrame）

import pandas as pd

# 动态输入的df1（列不固定）
df1 = pd.DataFrame({
    'user_id': [1, 2, 3],
    'user_name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
})

# 存储映射关系的df2
df2 = pd.DataFrame({
    'original_col': ['user_id', 'user_name', 'email'],
    'target_col': ['id', 'name', 'contact']
})

2. 生成有效映射字典（自动过滤df1中不存在的原列）

# 从df2提取仅在df1中存在的列映射
col_mapping = df2[df2['original_col'].isin(df1.columns)] \
               .set_index('original_col')['target_col'] \
               .to_dict()

3. 生成最终DataFrame

# 重命名列并只保留映射后的列
final_df = df1.rename(columns=col_mapping)[list(col_mapping.values())]

关键说明 #

• 动态适配：不管df1的列如何新增或删除，代码会自动匹配df2中的有效映射项，不会因列变动报错
• 精准筛选：最终DataFrame仅保留映射后的列名，完全贴合需求
• 灵活调整：如果你的df2列名不是original_col和target_col，直接替换代码中对应的列名即可

内容的提问来源于stack exchange，提问作者Akanksha Verma