Python pandas 多格式日期字符串列统一转datetime及报错处理
问题根源
- 格式占位符存在书写错误:Python日期解析体系中,代表24小时制小时的占位符是
%H,不存在%h这个专用占位符;哪怕目标列全是统一的横杠分隔日期,这个错误的占位符本身就会触发匹配失败。 - 硬编码单一格式的逻辑与数据场景不匹配:目标列同时存储横杠分隔(
mm-dd-YYYY hh:mm)、斜杠分隔(mm/dd/YYYY hh:mm)两种格式的日期字符串,给pd.to_datetime传入固定不变的format参数时,会强制要求所有值严格匹配该格式,碰到分隔符不一致的字符串就会直接抛出匹配错误。
调整实现方案
方案1:自动格式识别(全pandas版本通用,适合中小样本量场景)
直接移除硬编码的format参数,让pandas逐行自动识别兼容的日期格式即可,代码如下:
df['START_DATE*'] = pd.to_datetime( df['START_DATE*'], dayfirst=False, errors='raise' )
说明:由于你的日期格式是月份在前,显式传入dayfirst=False,可以避免pandas误将月、日顺序混淆;如果列中存在少量无法解析的异常值,可将errors参数调整为'coerce',解析失败的值会被自动设为NaT(空时间类型值),不会中断代码运行。
方案2:正则匹配双分隔符(适合大样本量场景,pandas≥2.0版本)
数据量较大时,逐行自动推断的转换效率会明显下降,此时可以通过带正则规则的格式串,将横杠、斜杠设为可互换的分隔符,实现快速批量解析:
df['START_DATE*'] = pd.to_datetime( df['START_DATE*'], format="%m[-/]%d[-/]%Y %H:%M", dayfirst=False, errors="raise" )
说明:格式串中的[-/]是正则字符集规则,代表对应分隔符位置可以是横杠,也可以是斜杠,正好覆盖列中两种日期格式的解析需求,转换效率比自动推断高很多。
内容的提问来源于stack exchange,提问作者Dipanwita
相关产品推荐
相关产品推荐

