PySpark Pandas与Pandas DataFrame pivot差异：非数值列报错

在常规Pandas中，使用字符串列作为values参数执行pivot可以正常运行，但PySpark Pandas会抛出TypeError: values should be a numeric type.错误，示例代码如下：

import pandas as pd
import pyspark.pandas as ps

df_dict = {'A':[1,2,3],'B':[1,2,3],'C':['X','Y','Z']}

df_pd = pd.DataFrame(df_dict)
df_ps = ps.DataFrame(df_dict)

# 常规Pandas可正常执行
pivot_pd = df_pd.pivot(index='A', columns='B', values='C')
# PySpark Pandas执行报错
pivot_ps = df_ps.pivot(index='A', columns='B', values='C')

报错信息：

File "/home/user/lib/python3.9/site-packages/pyspark/pandas/frame.py", line 6276, in pivot
    raise TypeError("values should be a numeric type.")

解决办法 #

PySpark Pandas的pivot底层依赖Spark的分布式聚合逻辑，默认要求values为数值型。可以通过Spark原生API的pivot配合聚合函数（如first()）实现字符串列的透视，再转回PySpark Pandas DataFrame：

# 将PySpark Pandas DataFrame转为Spark原生DataFrame
spark_df = df_ps.to_spark()
# 按A分组，以B为列透视，用first()聚合C列（因每个A+B组合唯一，first可精准取到对应字符串）
pivot_spark = spark_df.groupBy("A").pivot("B").agg({"C": "first"})
# 转回PySpark Pandas DataFrame
pivot_ps = ps.DataFrame(pivot_spark)

执行后pivot_ps的结果与常规Pandas的pivot_pd完全一致：

原因说明 #

常规Pandas的pivot是单机环境下的转置操作，当index+columns组合唯一时，直接将对应values值填充到目标位置，无需聚合。而PySpark Pandas的pivot基于Spark的分布式pivot实现，默认需要对values列执行聚合运算（如sum、mean），因此要求列类型为数值型。通过指定first()聚合，可在保证结果正确的前提下，支持字符串列的透视操作。

内容的提问来源于stack exchange，提问作者ABaron