Python/PySpark DataFrame转置求助：Excel数据转置结果异常

直接用Pandas的.T转置出错，核心原因是你要的「业务转置」不是纯矩阵行列互换，而是宽表转长表（逆透视），.T只会机械互换所有行和列，完全忽略业务逻辑里的标识列和指标列区分。下面分两种场景给出解决方案：

场景1：宽表转长表（最常见业务需求） #

假设你的原始Excel结构是「1个维度列 + N个指标列」（比如行是分类，列是不同指标），目标是把每个指标拆成「维度-指标名-指标值」的行结构。

方案1：PySpark原生处理（推荐，避免大数据量OOM） #

Spark 3.1+ 版本（支持内置melt函数）

from pyspark.sql.functions import melt

# 替换成你的实际列名
id_columns = ["维度列"]  # 不需要转置的标识列
metric_columns = ["指标A", "指标B", "指标C"]  # 需要转置的指标列

# 执行逆透视
transposed_df = melt(
    df,
    id_vars=id_columns,
    value_vars=metric_columns,
    var_name="指标名称",  # 转置后指标名的列名
    value_name="指标值"  # 转置后指标值的列名
)

transposed_df.show()

Spark 3.1以下版本（用stack函数）

from pyspark.sql.functions import expr

# 构造stack表达式：stack(指标列数, '指标名1', 列1, '指标名2', 列2, ...)
stack_expr = "stack(3, '指标A', 指标A, '指标B', 指标B, '指标C', 指标C) as (指标名称, 指标值)"

# 选择标识列 + 执行stack，过滤空值
transposed_df = df.select("维度列", expr(stack_expr)).filter("指标值 IS NOT NULL")

transposed_df.show()

方案2：转Pandas后处理（仅适合小数据量） #

不要用.T，改用melt函数：

# Spark转Pandas
pd_df = df.toPandas()

# 执行逆透视
pd_transposed = pd.melt(
    pd_df,
    id_vars=["维度列"],
    value_vars=["指标A", "指标B", "指标C"],
    var_name="指标名称",
    value_name="指标值"
)

print(pd_transposed)

场景2：纯矩阵转置（无标识列，所有行列都是数值） #

如果你的数据是纯数值矩阵（没有业务标识列），转Pandas后要先重置索引再转置，否则会把原始列名混进转置结果：

pd_df = df.toPandas().reset_index(drop=True)
# 转置后重置索引，重新设置表头
pd_transposed = pd_df.T.reset_index()
pd_transposed.columns = pd_transposed.iloc[0]
pd_transposed = pd_transposed[1:]

print(pd_transposed)

内容的提问来源于stack exchange，提问作者Pysparker