pandas to_datetime无法转换带时区时间戳为datetime对象问题

你给出的时间串是带毫秒、带UTC时区偏移的标准ISO8601格式：2022-05-12T07:09:33.727-07:00。默认pd.to_datetime转换后仍返回object类型，通常是两个原因：

1. 用的pandas版本低于1.4，旧版本对时区偏移中带冒号的写法识别有缺陷，自动格式推断失败
2. 列中混杂了无法解析的脏值，且转换时指定了errors='ignore'，触发静默失败不抛出异常

针对这类格式的正确解析代码如下：

# pandas 1.4及以上版本，直接指定ISO8601格式即可
df['timestamp'] = pd.to_datetime(
    df['timestamp'],
    format="ISO8601",
    utc=True, # 建议开启，统一转换为UTC时区，避免后续时区逻辑混乱
    errors='raise' # 调试阶段开启，有脏值会直接抛出异常方便定位，正式运行可改为coerce将坏值转为NaT
)

如果是1.4以下的旧版本，把format="ISO8601"替换为显式格式串format="%Y-%m-%dT%H:%M:%S.%f%z"即可。

要兼容多种输入格式、避免静默失败，按以下规则实现即可：

• 不要完全依赖pandas的自动格式推断：自动推断性能差，且遇到边缘格式容易识别失败。先梳理业务场景下高频出现的时间格式，按出现概率从高到低排列，优先按已知格式解析。
• 分步解析减少性能损耗：初始化一个全为NaT的时间序列，每轮解析只处理还没转换成功的行，匹配完所有已知格式后，最后对剩余少量异常值用自动推断做兜底，无法解析的统一转为NaT。参考实现：

import pandas as pd
import numpy as np

def parse_datetime_col(series):
    # 按业务出现频率从高到低配置已知格式
    KNOWN_FORMATS = [
        "ISO8601",
        "%Y-%m-%d %H:%M:%S",
        "%Y/%m/%d %H:%M",
        "%d/%m/%Y %H:%M",
        "%Y%m%d%H%M%S"
    ]
    # 初始化结果列，统一用UTC时区
    result = pd.Series(pd.NaT, index=series.index, dtype="datetime64[ns, UTC]")
    
    for fmt in KNOWN_FORMATS:
        unresolved_mask = result.isna()
        if not unresolved_mask.any():
            break
        # 仅解析未成功转换的行
        parsed_part = pd.to_datetime(
            series[unresolved_mask],
            format=fmt,
            errors="coerce",
            utc=True
        )
        result.loc[unresolved_mask] = parsed_part
    
    # 兜底：剩余未解析值用自动推断，失败则为NaT
    final_unresolved = result.isna()
    if final_unresolved.any():
        result.loc[final_unresolved] = pd.to_datetime(
            series[final_unresolved],
            errors="coerce",
            utc=True
        )
    return result

# 调用
df['timestamp'] = parse_datetime_col(df['timestamp'])

• 解析后做校验：转换完成后统计df['timestamp'].isna().sum()，对比原始列的非空值数量，如果空值增量超过预期阈值（比如超过1%），回溯原始数据排查脏值，不要直接进入下游计算。
• 统一时区标准：所有时间解析完成后统一转为UTC或业务指定时区，禁止混用时区导致的排序、时间差计算错误。

内容的提问来源于stack exchange，提问作者Luca