You need to enable JavaScript to run this app. Pandas生成时间序列datetime特征:高效实现按月递增的date_block_num
优惠活动
大模型
产品
解决方案
定价
更多

Pandas生成时间序列datetime特征:高效实现按月递增的date_block_num

Pandas高效生成date_block_num时间特征的实现方案

当前使用iterrows()逐行遍历的实现方式存在大量循环开销,效率极低,完全可以用pandas原生的矢量化操作替代,以下两种方案完全适配你提出的「2013年1月取值为0,每过1个自然月数值+1」的规则,性能比iterrows()高2~3个数量级。


方法1:月周期差值计算(最推荐,逻辑最直观)

将date列转换为月粒度的时间周期,和指定的基准周期做差,直接得到符合要求的连续数值,不需要手动计算年月偏移,完全避免逻辑出错。

import pandas as pd

# 定义基准月:2013年1月
base_period = pd.Period('2013-01', freq='M')
# 矢量化生成date_block_num
df['date_block_num'] = (df['date'].dt.to_period('M') - base_period).astype(int)

适用场景:常规数据量,要求代码可读性高、逻辑简洁的场景,同一自然月的任意日期都会被归为同一个数值,完全符合需求规则。


方法2:年月数值运算(超大数据量场景最优)

如果是百万行以上的超大规模数据集,直接用datetime的年、月属性做数学运算,内存占用更低、运算速度更快。

# 定义基准的年、月值
base_year, base_month = 2013, 1
# 矢量化计算date_block_num
df['date_block_num'] = (df['date'].dt.year - base_year) * 12 + (df['date'].dt.month - base_month)

逻辑验证:

  • 2013年1月:(2013-2013)*12 + (1-1) = 0
  • 2013年12月:(2013-2013)*12 + (12-1) =11
  • 2014年1月:(2014-2013)*12 + (1-1) =12
  • 2015年12月:(2015-2013)*12 + (12-1) =35
    和要求的取值规则完全一致。

方案优势说明

  • 全程采用pandas/numpy底层优化的矢量化运算,没有逐行循环的额外开销,处理10万行以上数据时速度差可达百倍以上
  • 逻辑简洁无冗余,不需要手动写循环判断、值匹配逻辑,后续维护成本极低
  • 自动兼容缺失日期的处理规则,date列如果存在NaT空值,生成的date_block_num会自动对应为NaN,符合pandas的空值处理范式

内容的提问来源于stack exchange,提问作者Long Luu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 23:36:04