You need to enable JavaScript to run this app. Pandas使用Lambda函数拆分日期列触发内存错误的原因与解决方案
优惠活动
大模型
产品
解决方案
定价
更多

Pandas使用Lambda函数拆分日期列触发内存错误的原因与解决方案

报错根因

那行触发崩溃的代码,本质是入门阶段最容易踩的pandas内存坑:
逐行apply的过程里,每处理一条数据(总共4359936行),都会叠加多步极度耗内存的操作:

  • 对单个日期值做字符串格式化、拆分
  • 核心内存爆炸点:每一行都要新建一个独立的pd.Series对象来存拆分得到的年、月两个值
    每个pandas.Series对象不是只存两个数字那么简单,它自带索引、数据类型标记、元数据校验等固定开销,哪怕只存两个元素,单对象的内存开销也远超纯数值存储。算下来436万个零散的小Series,会凭空吃掉数GB的额外内存,最终直接触发进程的MemoryError崩溃。
可靠替代方案

你不需要用逐行apply处理这个需求——pandas对datetime列提供了原生的向量化运算接口,底层是C实现的批量操作,比逐行apply速度快几十到上百倍,内存开销可以忽略不计。

最推荐的写法(零额外冗余内存)

Dates列本身就是日期类型,直接调用内置的日期属性就能批量生成年、月两列:

cdata['year'] = cdata.Dates.dt.year
cdata['month'] = cdata.Dates.dt.month

这种写法全程没有逐行的lambda逻辑,也不会创建零散的小对象,新增的两列用整数类型存储,436万行的总内存占用仅几十MB,完全不会触发内存溢出。

如果需要和原逻辑完全对齐(保留字符串格式化的流程)

如果你确实需要按原代码里strftime("%Y,%m")的逻辑处理,也别用逐行apply返回Series的写法,直接用向量化的字符串操作:

# 一次性生成拆好的两列,全程没有逐行对象创建开销
year_month = cdata.Dates.dt.strftime("%Y,%m").str.split(",", expand=True)
year_month.columns = ['year', 'month']
# 合并回原数据框
cdata = pd.concat([cdata, year_month], axis=1)

退而求其次的低内存写法(适用于必须写逐行逻辑的场景)

如果后续碰到必须逐行处理的复杂逻辑,也绝对不要在apply的lambda里返回pd.Series,改成返回元组,最后一次性把所有结果转成多列:

# 逐行处理只返回纯Python元组,没有pandas对象的额外开销
processed_res = cdata.Dates.apply(lambda x: (x.strftime("%Y"), x.strftime("%m")))
# 一次性把整列的元组转成两列,只创建一个大的DataFrame
cdata[['year', 'month']] = pd.DataFrame(processed_res.tolist(), index=cdata.index)

这种写法的内存开销比原来逐行返回Series的方式低90%以上,也不会触发崩溃。

避坑总结
  • 只要碰到pandas里“apply逐行返回Series拆多列”的写法,处理百万级行数据时100%会出现内存异常
  • 所有可以用向量化操作实现的需求,优先选向量化写法,既快又省内存

内容的提问来源于stack exchange,提问作者user2100039

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 09:27:03