Pandas使用Lambda函数拆分日期列触发内存错误的原因与解决方案
报错根因
那行触发崩溃的代码,本质是入门阶段最容易踩的pandas内存坑:
逐行apply的过程里,每处理一条数据(总共4359936行),都会叠加多步极度耗内存的操作:
- 对单个日期值做字符串格式化、拆分
- 核心内存爆炸点:每一行都要新建一个独立的
pd.Series对象来存拆分得到的年、月两个值
每个pandas.Series对象不是只存两个数字那么简单,它自带索引、数据类型标记、元数据校验等固定开销,哪怕只存两个元素,单对象的内存开销也远超纯数值存储。算下来436万个零散的小Series,会凭空吃掉数GB的额外内存,最终直接触发进程的MemoryError崩溃。
可靠替代方案
你不需要用逐行apply处理这个需求——pandas对datetime列提供了原生的向量化运算接口,底层是C实现的批量操作,比逐行apply速度快几十到上百倍,内存开销可以忽略不计。
最推荐的写法(零额外冗余内存)
Dates列本身就是日期类型,直接调用内置的日期属性就能批量生成年、月两列:
cdata['year'] = cdata.Dates.dt.year cdata['month'] = cdata.Dates.dt.month
这种写法全程没有逐行的lambda逻辑,也不会创建零散的小对象,新增的两列用整数类型存储,436万行的总内存占用仅几十MB,完全不会触发内存溢出。
如果需要和原逻辑完全对齐(保留字符串格式化的流程)
如果你确实需要按原代码里strftime("%Y,%m")的逻辑处理,也别用逐行apply返回Series的写法,直接用向量化的字符串操作:
# 一次性生成拆好的两列,全程没有逐行对象创建开销 year_month = cdata.Dates.dt.strftime("%Y,%m").str.split(",", expand=True) year_month.columns = ['year', 'month'] # 合并回原数据框 cdata = pd.concat([cdata, year_month], axis=1)
退而求其次的低内存写法(适用于必须写逐行逻辑的场景)
如果后续碰到必须逐行处理的复杂逻辑,也绝对不要在apply的lambda里返回pd.Series,改成返回元组,最后一次性把所有结果转成多列:
# 逐行处理只返回纯Python元组,没有pandas对象的额外开销 processed_res = cdata.Dates.apply(lambda x: (x.strftime("%Y"), x.strftime("%m"))) # 一次性把整列的元组转成两列,只创建一个大的DataFrame cdata[['year', 'month']] = pd.DataFrame(processed_res.tolist(), index=cdata.index)
这种写法的内存开销比原来逐行返回Series的方式低90%以上,也不会触发崩溃。
避坑总结
- 只要碰到pandas里“apply逐行返回Series拆多列”的写法,处理百万级行数据时100%会出现内存异常
- 所有可以用向量化操作实现的需求,优先选向量化写法,既快又省内存
内容的提问来源于stack exchange,提问作者user2100039
相关产品推荐
相关产品推荐

