Pandas（Python）数据重塑问题：pivot函数使用失败求助

看起来你在尝试用pivot处理这种包含用户ID、时间戳、多变量多索引的长格式数据时遇到了瓶颈，我来帮你一步步解决这个问题。

先明确你的数据结构 #

你的数据是典型的长格式（Long Format）：每一行对应一个用户（ID）在某个时间戳下的某个变量（VARIABLES）、某个索引（INDEX）的数值（VALUE）。你的目标应该是转成宽格式（Wide Format）——每个用户+时间戳作为一行，把VARIABLES和INDEX组合成易读的列名（比如count1_0、count1_1），对应每个数值。

解决方案：用pivot_table或unstack代替基础pivot #

基础的pivot函数要求index+columns的组合必须完全唯一，一旦数据中有重复的组合就会报错。而你的场景更适合用pivot_table（支持聚合处理重复值）或者set_index+unstack的方式。

步骤1：读取并预处理数据

首先读取分号分隔的CSV文件，可选提取时间戳的小时（方便快速区分19点和22点）：

import pandas as pd

# 读取数据，指定分隔符为分号
df = pd.read_csv('your_data_file.csv', sep=';')

# 转换时间戳格式，提取小时（可选，如果你只需要按小时区分）
df['DATA_STAMP'] = pd.to_datetime(df['DATA_STAMP'])
df['HOUR'] = df['DATA_STAMP'].dt.hour

步骤2：用pivot_table重塑数据

这个方法能处理潜在的重复值，非常适配你的场景：

# 执行数据重塑，以ID+时间戳为行，变量+索引为列
pivoted_df = df.pivot_table(
    index=['ID', 'DATA_STAMP'],  # 如果你只想用小时区分，换成['ID', 'HOUR']
    columns=['VARIABLES', 'INDEX'],
    values='VALUE',
    aggfunc='first'  # 无重复值用first即可；有重复可根据需求用sum/mean
).reset_index()

# 扁平化列名（把(count1,0)改成count1_0这种易读格式）
pivoted_df.columns = [
    '_'.join(map(str, col)) if col[0] not in ['ID', 'DATA_STAMP'] else col[0]
    for col in pivoted_df.columns
]

步骤3：另一种简洁方法——set_index + unstack

如果你确定数据没有重复的ID+DATA_STAMP+VARIABLES+INDEX组合，也可以用更直接的方式：

# 设置多层索引后展开列
pivoted_df = df.set_index(['ID', 'DATA_STAMP', 'VARIABLES', 'INDEX'])['VALUE']\
               .unstack(['VARIABLES', 'INDEX'])\
               .reset_index()

# 同样扁平化列名
pivoted_df.columns = [
    '_'.join(map(str, col)) if col[0] not in ['ID', 'DATA_STAMP'] else col[0]
    for col in pivoted_df.columns
]

验证结果 #

处理后的数据应该满足：

• 每个ID对应2行（19点和22点的时间戳）
• 每行包含3*8=24个数值列（3个变量×8个索引）
• 行索引是用户ID和时间戳，列是组合后的变量+索引名称

内容的提问来源于stack exchange，提问作者mbooma