Pandas v1.0.1与v2.0.3的read_csv/parse_dates日期解析差异排查

核心问题原因 #

Pandas 2.x对带时区的ISO格式日期自动解析逻辑做了调整，相比1.0.x版本，自动解析的容错规则有变化。当数据中存在个别格式异常（比如前导/尾随空格）的日期行时，会导致整列解析为object类型，而非带时区的datetime类型，进而触发"Can only use .dt accessor with datetimelike values"错误。

具体解决步骤 #

1. 强制指定日期解析格式 #

手动指定日期格式，跳过Pandas的自动解析逻辑，确保所有符合格式的行都能被稳定解析。针对你提供的带前导空格的日期格式 2000-01-01T00:00:00-08:00，可以这样修改代码：

fw21_data = pd.read_csv(
    os.path.join(fw21_dir, f),
    parse_dates=['DateTime'],
    # 匹配带前导空格的目标日期格式
    format=' %Y-%m-%dT%H:%M:%S%z'
)

如果部分文件的日期无空格，也可以先读取为字符串，统一处理空格后再解析：

# 先读取DateTime为字符串，处理空格后解析
fw21_data = pd.read_csv(
    os.path.join(fw21_dir, f),
    dtype={'DateTime': str}
)
fw21_data['DateTime'] = pd.to_datetime(
    fw21_data['DateTime'].str.strip(),
    format='%Y-%m-%dT%H:%M:%S%z',
    errors='coerce'
)

2. 移除对DateTime字段的dtype约束 #

确保data_types字典中不再将DateTime设为str，如果需要保留其他字段的类型指定，可单独移除DateTime的约束：

# 移除data_types中对DateTime的字符串类型设置
data_types.pop('DateTime', None)
fw21_data = pd.read_csv(
    os.path.join(fw21_dir, f),
    parse_dates=['DateTime'],
    format=' %Y-%m-%dT%H:%M:%S%z',
    dtype=data_types
)

3. 批量处理时添加校验逻辑 #

由于文件数量多，可在读取后快速校验列类型，及时定位异常文件：

for f in os.listdir(fw21_dir):
    if not f.endswith('.csv'):
        continue
    fw21_data = pd.read_csv(
        os.path.join(fw21_dir, f),
        parse_dates=['DateTime'],
        format=' %Y-%m-%dT%H:%M:%S%z'
    )
    # 检查DateTime列是否为带时区的datetime类型
    if not pd.api.types.is_datetime64tz_dtype(fw21_data['DateTime']):
        print(f"警告：文件{f}的DateTime列类型异常，当前类型为{fw21_data['DateTime'].dtype}")
        # 尝试二次解析修复
        fw21_data['DateTime'] = pd.to_datetime(
            fw21_data['DateTime'].str.strip(),
            format='%Y-%m-%dT%H:%M:%S%z',
            errors='coerce'
        )
        # 输出解析失败的行数
        na_count = fw21_data['DateTime'].isna().sum()
        if na_count > 0:
            print(f"文件{f}中有{na_count}行日期解析失败，已标记为NaN")

4. 时区表示差异说明 #

Pandas 2.x将带时区的datetime类型从pytz.FixedOffset(-480)改为标准的datetime64[ns, UTC-08:00]，这是正常的API迭代，两种类型均支持.dt访问器，无需额外处理，只要列是datetime类型即可。

内容的提问来源于stack exchange，提问作者Jon Bonk