如何对pandas datetime列执行向量化固定日值替换?
报错根因
- 自定义的
normmonth函数是按照单条datetime对象的逻辑编写的,内部调用的.month属性、.replace()方法都仅支持单个时间值。直接把整列df['Date_Time'](pandas Series类型)传入函数时,Series本身不具备上述单值datetime的方法,因此触发AttributeError。 - 逐行调用自定义函数的处理方式属于Python级循环,性能表现差,不符合向量化处理的要求。
向量化实现方案
全程使用pandas内置的Series级API完成计算,无逐行循环,底层基于C层实现,处理效率远高于逐行遍历:
- 确认
Date_Time列的数据类型为datetime64[ns],可通过df['Date_Time'].dtype验证 - 构造月份到目标固定日的映射规则:5月统一替换为15日,10月统一替换为30日
- 通过pandas的dt访问器直接获取整列的年、月、日、时分秒属性,匹配对应的目标固定日
- 重新组合各时间分量生成新的datetime列
对应实现代码:
# 定义月份-固定日映射 month_fixed_day = {5: 15, 10: 30} # 匹配每一行的目标日值,未匹配到规则的月份保留原有日值 replaced_day = df['Date_Time'].dt.month.map(month_fixed_day).fillna(df['Date_Time'].dt.day) # 纯向量化生成新的时间列 df['Date_Time2'] = pd.to_datetime({ "year": df['Date_Time'].dt.year, "month": df['Date_Time'].dt.month, "day": replaced_day, "hour": df['Date_Time'].dt.hour, "minute": df['Date_Time'].dt.minute, "second": df['Date_Time'].dt.second })
效果验证:原列中2019-05-11 09:00:00这类5月的时间值,会被转换为2019-05-15 09:00:00,符合预期要求。
若需要兼容原有自定义函数逻辑,可通过逐行传值的方式调用
df['Date_Time'].apply(normmonth),但这种方式性能仅为上述向量化方案的1%左右,不推荐用于大规模数据处理。
参考的pandas性能优化要点(译自公开技术指南)
- 大规模数据处理场景下,需避免使用逐行
iterrows()、逐行apply()自定义函数的方式,这类写法本质是Python级循环,性能远低于向量化操作- 优先选用pandas内置的向量化API,比如dt时间访问器、str字符串访问器、条件掩码匹配方法,这类API底层基于C层实现,处理百万行数据时性能可较逐行循环提升数十至上百倍
- 数据初始化阶段尽量避免循环
append空DataFrame的操作,优先批量收集全部数据后一次性生成DataFrame,减少不必要的内存拷贝开销
内容的提问来源于stack exchange,提问作者klagios
相关产品推荐
相关产品推荐

