Pandas生成时间序列datetime特征:高效实现按月递增的date_block_num
Pandas高效生成
date_block_num时间特征的实现方案 当前使用iterrows()逐行遍历的实现方式存在大量循环开销,效率极低,完全可以用pandas原生的矢量化操作替代,以下两种方案完全适配你提出的「2013年1月取值为0,每过1个自然月数值+1」的规则,性能比iterrows()高2~3个数量级。
方法1:月周期差值计算(最推荐,逻辑最直观)
将date列转换为月粒度的时间周期,和指定的基准周期做差,直接得到符合要求的连续数值,不需要手动计算年月偏移,完全避免逻辑出错。
import pandas as pd # 定义基准月:2013年1月 base_period = pd.Period('2013-01', freq='M') # 矢量化生成date_block_num df['date_block_num'] = (df['date'].dt.to_period('M') - base_period).astype(int)
适用场景:常规数据量,要求代码可读性高、逻辑简洁的场景,同一自然月的任意日期都会被归为同一个数值,完全符合需求规则。
方法2:年月数值运算(超大数据量场景最优)
如果是百万行以上的超大规模数据集,直接用datetime的年、月属性做数学运算,内存占用更低、运算速度更快。
# 定义基准的年、月值 base_year, base_month = 2013, 1 # 矢量化计算date_block_num df['date_block_num'] = (df['date'].dt.year - base_year) * 12 + (df['date'].dt.month - base_month)
逻辑验证:
- 2013年1月:
(2013-2013)*12 + (1-1) = 0 - 2013年12月:
(2013-2013)*12 + (12-1) =11 - 2014年1月:
(2014-2013)*12 + (1-1) =12 - 2015年12月:
(2015-2013)*12 + (12-1) =35
和要求的取值规则完全一致。
方案优势说明
- 全程采用pandas/numpy底层优化的矢量化运算,没有逐行循环的额外开销,处理10万行以上数据时速度差可达百倍以上
- 逻辑简洁无冗余,不需要手动写循环判断、值匹配逻辑,后续维护成本极低
- 自动兼容缺失日期的处理规则,
date列如果存在NaT空值,生成的date_block_num会自动对应为NaN,符合pandas的空值处理范式
内容的提问来源于stack exchange,提问作者Long Luu
相关产品推荐
相关产品推荐

