DataFrame按日期分组宽展长表实现方案求助

核心思路 #

要实现从长表转成按日期分组、小时为列的宽表，关键是拆分datetime列的日期和时间部分，再用透视操作重塑表格，步骤如下：

具体实现代码 #

import pandas as pd

# 加载你的数据（这里用示例数据演示）
df = pd.DataFrame({
    'datetime': ['2022-04-29T02:00:00.000000000', '2022-04-29T03:00:00.000000000',
                 '2022-05-29T02:00:00.000000000', '2022-05-29T03:00:00.000000000'],
    'value': [5, 6, 5, 7]
})

# 1. 将datetime列转为pandas datetime类型（如果原始数据是字符串的话）
df['datetime'] = pd.to_datetime(df['datetime'])

# 2. 拆分出日期和小时列
df['date'] = df['datetime'].dt.date.astype(str)  # 转为YYYY-MM-DD格式的字符串
df['hour'] = df['datetime'].dt.strftime('%H:%M')  # 提取HH:MM格式的时间

# 3. 透视生成目标宽表
result = df.pivot(
    index='date',    # 行：日期
    columns='hour',  # 列：小时
    values='value'   # 填充值：对应时间的数值
).reset_index()  # 将date从索引转为普通列

# 4. 调整索引为从1开始的序号，并设置索引名
result.index = result.index + 1
result.index.name = 'index'

# 可选：按00:00到20:00的顺序排列列（匹配你的实际数据时间范围）
sorted_hours = [f"{h:02d}:00" for h in range(0, 21)]
result = result[['date'] + sorted_hours]

# 查看结果
print(result)

关键步骤说明 #

• 拆分datetime列：直接用整个datetime做透视的话，无法按日期聚合、按小时拆分列，必须先提取日期和小时两个独立字段。
• pivot操作：pivot是专门用于长表转宽表的方法，指定行、列、值参数即可快速重塑表格，比transpose更适合这类场景。
• 索引调整：通过reset_index和修改index属性，让结果的索引从1开始，匹配你期望的格式。
• 列排序：实际数据覆盖00:00-20:00，提前生成有序的小时列表并重新排列列，避免透视后列顺序混乱。

为什么之前的操作没成功？ #

你尝试的transpose（转置）是对整个表格行和列互换，不符合按日期分组的需求；直接用pivot但没拆分datetime的话，会把每个完整datetime作为列或行，无法得到按日期聚合、小时为列的结构。

内容的提问来源于stack exchange，提问作者Christian Johansson