Pandas时间戳转换与月度数据汇总问题排查

嘿，我看了你这段代码，确实能找到几个导致月度汇总出问题的地方，咱们一个个说清楚：

核心问题诊断 #

• 时间戳转换格式不匹配：你的原始时间戳是2017-05-11 18:29:14+00:00，带UTC时区偏移，但你用的format='%Y-%m-%d %H:%M:%S'没有包含时区部分，这会导致Pandas无法正确解析时间，生成的timestamp列要么出错，要么丢失时区信息，后续的月度分组自然没法正常工作。
• 变量名错误：代码最后一行用了data.groupby，但你定义的DataFrame变量是df，这会直接抛出变量未定义的报错。
• 分组结果展示方式不对：你用列表推导式打印分组后的DataFrame列表，这只能看到分组后的原始数据片段，看不到你需要的min、max、mean等汇总统计。
• CSV读取未处理表头：你的原始数据没有表头行，但pd.read_csv默认会把第一行当成表头，导致后续列名混乱，比如你要取的light列可能根本不存在。

修复后的完整代码 #

import pandas as pd
import numpy as np

# 读取CSV：原始数据无表头，手动指定列名（对应你的数据格式：时间+7个指标列）
df = pd.read_csv('data.csv', header=None, names=['time', 'val1', 'val2', 'light', 'val4', 'val5', 'val6', 'val7'])

# 正确解析带时区的时间戳：自动识别格式+保留UTC时区
df['timestamp'] = pd.to_datetime(df['time'], utc=True)

# 生成月度汇总报表：一次性聚合min/max/mean等需要的统计量
print("=== 月度汇总报表 ===")
monthly_summary = df.groupby(pd.Grouper(key='timestamp', freq='M')).agg(
    light_min=('light', 'min'),
    light_max=('light', 'max'),
    light_mean=('light', 'mean'),
    # 可以按需添加其他列的统计，比如val1_mean=('val1', 'mean')
)
print(monthly_summary)

# 生成周度汇总报表（逻辑和月度一致）
print("\n=== 周度汇总报表 ===")
weekly_summary = df.groupby(pd.Grouper(key='timestamp', freq='W')).agg(
    light_min=('light', 'min'),
    light_max=('light', 'max'),
    light_mean=('light', 'mean'),
)
print(weekly_summary)

关键修复点说明 #

1. 时间戳解析：用utc=True让Pandas正确识别带时区的时间字符串，或者也可以明确指定格式为format='%Y-%m-%d %H:%M:%S%z'，确保时间信息完整且可被分组逻辑识别。
2. CSV读取优化：添加header=None并自定义列名，避免第一行数据被误判为表头，保证后续列索引的正确性。
3. 聚合逻辑优化：用agg()方法一次性定义所有需要的统计指标，直接生成结构化的汇总报表，清晰直观。
4. 变量名修正：统一使用df作为DataFrame变量名，避免不存在的data变量报错。

内容的提问来源于stack exchange，提问作者Brendon Shaw