PySpark实现DataFrame动态列逆透视（Unpivot）方法咨询

不用硬编码列名的核心是利用Pandas的df.columns属性动态筛选列，结合melt()或stack()方法完成逆透视，以下是两种常用场景的实现方式：

场景1：保留指定标识符列（动态筛选） #

如果有需要保留的标识符列（比如用户ID、姓名等），但不想硬编码列名，可通过列名规则、位置或数据类型动态筛选：

示例代码 #

import pandas as pd

# 假设df是你的目标DataFrame
# 动态筛选标识符列：比如取第一列，或匹配列名含"姓名"/"ID"的列
id_cols = df.columns[:1]  # 取第一列作为标识符列
# 也可以用列名匹配：id_cols = df.columns[df.columns.str.contains('姓名|ID')]

# 动态获取需要逆透视的列：除标识符列外的所有列
value_cols = df.columns.difference(id_cols)

# 执行逆透视
unpivoted_df = pd.melt(
    df,
    id_vars=id_cols,
    value_vars=value_cols,
    var_name="类别",  # 原列名转为新列的名称，可自定义
    value_name="数值"   # 原列值转为新列的名称，可自定义
)

场景2：无固定标识符列（全列逆透视） #

如果要将所有列转为键值对的长格式，可直接用stack()或无id_vars的melt()：

方法1：使用stack() #

unpivoted_df = df.stack().reset_index()
# 重命名列（动态命名可结合原索引/列名）
unpivoted_df.columns = ["原索引", "类别", "数值"]

方法2：使用melt()（无id_vars） #

unpivoted_df = pd.melt(
    df,
    var_name="类别",
    value_name="数值"
)

进阶：按数据类型动态筛选列 #

如果只想将数值型列逆透视，可通过select_dtypes动态筛选：

# 动态获取所有数值型列
value_cols = df.select_dtypes(include=["int64", "float64"]).columns
# 标识符列取非数值型列
id_cols = df.columns.difference(value_cols)

unpivoted_df = pd.melt(df, id_vars=id_cols, value_vars=value_cols, var_name="指标", value_name="数值")

内容的提问来源于stack exchange，提问作者sparc