PySpark DataFrame多次关联同表实现行转列的方法

首选方案：使用pivot透视表（高效简洁） #

直接用pandas的pivot方法可以一步完成转换，无需多次关联，完全避免列名歧义问题：

import pandas as pd

# 示例源数据
df = pd.DataFrame({
    'ID': [1, 1, 2, 2],
    'Date': ['2024-01-01', '2024-01-01', '2024-01-02', '2024-01-02'],
    'Device': ['DeviceA', 'DeviceB', 'DeviceA', 'DeviceC'],
    'Payload': ['dataA1', 'dataB1', 'dataA2', 'dataC2']
})

# 透视转换：按ID+Date分组，Device作为列，Payload作为值
target_df = df.pivot(index=['ID', 'Date'], columns='Device', values='Payload').reset_index()

# 重命名列，统一为Payload_DeviceX格式
target_df.columns = ['ID', 'Date'] + [f'Payload_{col}' for col in target_df.columns[2:]]

转换后的target_df结构：

循环关联方案（适配自定义设备处理逻辑） #

如果需要对不同设备做额外处理后再合并，可通过循环+merge实现，核心是每次关联前重命名Payload列，避免同表关联的列名歧义：

# 获取所有唯一设备类型
devices = df['Device'].unique()

# 初始化目标表：保留ID和Date的唯一组合
target_df = df[['ID', 'Date']].drop_duplicates().reset_index(drop=True)

# 循环处理每个设备
for device in devices:
    # 筛选当前设备的数据，并重命名Payload列
    device_subset = df[df['Device'] == device][['ID', 'Date', 'Payload']]
    device_subset = device_subset.rename(columns={'Payload': f'Payload_{device}'})
    
    # 关联到目标表（left join保留所有ID/Date组合）
    target_df = target_df.merge(device_subset, on=['ID', 'Date'], how='left')

为什么链式Join会出现歧义？ #

多次关联同一张表时，若未显式重命名列，pandas会自动为重复列添加_x/_y后缀，但手动链式join容易因列名重复导致关联逻辑混乱。上述两种方案都从根源上避免了这个问题：pivot直接重构列结构，循环merge则提前重命名列消除冲突。

内容的提问来源于stack exchange，提问作者AdamCodes716