PySpark透视表实现：跨不同类型多列聚合的方法

针对你遇到的异构类型列透视问题，完全可以通过PySpark或SparkSQL实现，核心思路是根据channel匹配对应类型的value列，绕开直接coalesce的类型冲突问题，具体实现如下：

关键前提回顾 #

• 每个channel对应固定的value列类型（A→double、B→long、C→string）
• 每行仅一个value列有有效数据

方法一：PySpark API实现 #

步骤1：创建统一值列（按channel匹配对应value）

先通过when函数根据channel提取对应类型的value，可先统一转为字符串（后续按需转回原类型）：

from pyspark.sql import functions as F

# 生成统一值列
df_unified = df.withColumn(
    "unified_value",
    F.when(F.col("channel") == "A", F.col("value_double").cast("string"))
     .when(F.col("channel") == "B", F.col("value_long").cast("string"))
     .when(F.col("channel") == "C", F.col("value_string"))
)

步骤2：分组透视聚合

由于每个time+channel组合仅一行数据，用first或max聚合都能正确提取唯一有效值：

# 透视生成目标表
pivot_result = df_unified.groupBy("time").pivot("channel").agg(F.first("unified_value"))

# 按需转回原列类型（可选）
pivot_result = pivot_result.withColumn("A", F.col("A").cast("double")) \
                           .withColumn("B", F.col("B").cast("long"))

方法二：SparkSQL实现 #

直接通过CASE WHEN按channel匹配对应value列，结合分组聚合完成透视：

-- 先创建临时视图（替换your_table为实际表名）
CREATE OR REPLACE TEMP VIEW melted_data AS SELECT * FROM your_table;

-- 生成透视表
SELECT 
    time,
    MAX(CASE WHEN channel = 'A' THEN value_double END) AS A,
    MAX(CASE WHEN channel = 'B' THEN value_long END) AS B,
    MAX(CASE WHEN channel = 'C' THEN value_string END) AS C
FROM melted_data
GROUP BY time;

这里利用MAX函数自动忽略null值的特性，精准提取每个time+channel对应的唯一有效值，且保留各列原数据类型。

为什么之前的coalesce会报错？ #

coalesce要求所有输入列的数据类型必须一致，但你的value_double/value_long/value_string分属不同类型，直接传入会触发类型不匹配错误。而通过when/CASE WHEN按channel定向提取对应列，就从根源上避免了类型冲突。

内容的提问来源于stack exchange，提问作者GolferDude