PySpark DataFrame自定义Unpivot函数报错：数据类型不匹配

问题根源 #

你遇到的AnalysisException是因为**stack函数要求所有参与转置的列必须具有相同的数据类型**。你的待转置列里同时存在double和date类型，类型不匹配导致报错，排序列名根本解决不了这个问题。

另外你的函数还有两个逻辑问题：

• 两次调用stack的方式错误，第二次调用会重复生成行，而且没有正确关联列名和值
• 冗余创建了ignored_columns_df、non_pivot_column_df这类DataFrame，直接操作列名列表更高效

修复后的函数 #

下面是修正后的函数，核心做了两点改进：

1. 将所有待转置列统一转换为字符串类型（你也可以根据业务需求选择其他统一类型，比如timestamp）
2. 正确构造stack表达式，一次性生成(kpi, value)对，避免重复调用stack导致的错误

import pyspark.sql.functions as F

def unpivot_columns_final(kpi_rf_df, ignored_columns_list, non_pivot_column_list):
    # 1. 筛选出需要unpivot的列名
    all_columns = set(kpi_rf_df.columns)
    unpivot_columns = list(all_columns - set(ignored_columns_list) - set(non_pivot_column_list))
    
    # 2. 统一待转置列的类型为字符串，同时保留列名和对应值
    stack_items = []
    for col in unpivot_columns:
        # 将列值转成字符串，同时拼接列名（作为kpi）和转换后的值
        stack_items.append(f"'{col}', cast({col} as string)")
    
    # 3. 构造stack表达式：stack(N, '列1', 值1, '列2', 值2, ...) as (kpi, value)
    stack_expr = f"stack({len(unpivot_columns)}, {', '.join(stack_items)}) as (kpi, value)"
    
    # 4. 生成最终结果：保留非转置列 + unpivot后的kpi和value列
    unpivot_df = kpi_rf_df.select(*non_pivot_column_list, F.expr(stack_expr))
    
    return unpivot_df

关键说明 #

• 类型统一：通过cast({col} as string)把不同类型的列转成统一类型，解决stack的类型匹配要求。如果业务需要保留原始类型，可以考虑用struct包装，但后续处理会更复杂，字符串是最通用的兼容方式。
• 正确构造stack参数：stack的参数格式是stack(数量, '列名1', 列值1, '列名2', 列值2, ...)，这样能一次性生成包含列名（kpi）和对应值的行，避免原代码中两次调用stack的错误。
• 简化逻辑：用集合运算直接筛选待转置列，避免冗余的DataFrame创建，提升代码效率。

测试示例 #

假设你的原始DataFrame结构如下：

+-------------+-------------+--------+----------+
| column_name2| column_name1| col_double| col_date|
+-------------+-------------+--------+----------+
|           A |           X |    1.23|2024-01-01|
+-------------+-------------+--------+----------+

调用函数：

ignored = ['column_name1']
non_pivot = ['column_name2']
result_df = unpivot_columns_final(df, ignored, non_pivot)

输出结果：

+-------------+-----------+----------+
| column_name2|        kpi|     value|
+-------------+-----------+----------+
|           A |col_double|     1.23|
|           A |  col_date|2024-01-01|
+-------------+-----------+----------+

内容的提问来源于stack exchange，提问作者MOK