使用Pandas解析含夏令时时区变化的CSV文件问题

这个问题我太熟悉了——本质是冬令时切换导致的本地时间重叠，再加上Pandas解析时区时的小细节没处理好！

为什么会出现重复时间？ #

你的CSV记录的是2007年10月28日（欧洲从夏令时切换到冬令时的日子，时钟会从02:00回拨到01:00）的时间数据：

• 前两行的时区是GMT+0100（夏令时），对应UTC时间是2007-10-27 23:00和23:01
• 后两行的时区是GMT-0000（其实就是UTC），对应UTC时间是2007-10-28 01:00和01:01

你之前的解析没有统一时区，Pandas默认把不同时区的时间转换为同一个本地显示时区，结果看起来就出现了重复的本地时间。

解决方案：统一转换为UTC时间 #

核心思路是先正确解析带时区的时间字符串，再统一转换为UTC（世界协调时间），这样所有时间都是唯一的，不会有重叠。

方案一：自定义日期解析函数（最稳妥）

这个方法能全程把控时间解析和转换的过程：

import pandas as pd

def parse_to_utc(date_str):
    # 解析带时区的时间，dayfirst=True确保日/月/年格式被正确识别
    tz_aware_datetime = pd.to_datetime(date_str, dayfirst=True)
    # 转换为UTC时间
    return tz_aware_datetime.tz_convert('UTC')

# 读取CSV文件，注意处理空格分隔的格式
df = pd.read_csv(
    'your_file.csv',
    sep=r'\s+',  # 匹配多个空格，避免因空格数量不一致导致列错位
    header=0,
    parse_dates=[0],  # 解析第一列为时间列
    date_parser=parse_to_utc,  # 使用自定义函数解析时间
    index_col=0,
    names=['time', 'val']  # 指定列名对应CSV表头
)

方案二：先解析再转换（更简洁）

如果不想写自定义函数，可以先读取并解析带时区的时间，再统一转UTC：

import pandas as pd

# 先读取并解析带时区的时间
df = pd.read_csv(
    'your_file.csv',
    sep=r'\s+',
    header=0,
    parse_dates=[0],
    dayfirst=True,
    index_col=0,
    names=['time', 'val']
)

# 将带时区的索引转换为UTC
df.index = df.index.tz_convert('UTC')

验证结果 #

处理后你的DataFrame索引会是唯一的UTC时间，类似这样：

val
2007-10-27 23:00:00+00:00    1
2007-10-27 23:01:00+00:00    2
2007-10-28 01:00:00+00:00    3
2007-10-28 01:01:00+00:00    4

关键注意点 #

• 必须指定sep=r'\s+'：你的CSV是空格分隔，默认的逗号分隔会导致列错位，这也是之前解析出错的潜在原因之一。
• 保留dayfirst=True：确保Pandas正确识别dd.mm.yyyy的日期格式，避免把月份和日期搞混。

内容的提问来源于stack exchange，提问作者Luca