如何在按Id、国家分组的pandas DataFrame中计算组内日期月份差
分组内相邻日期的月份差计算方案
你当前用groupby().diff()得到的是带天粒度的Timedelta对象,直接除以30换算月份的方式确实会因为大小月、闰年的天数差异产生计算偏差,以下是可直接落地的精准计算方案:
核心实现逻辑
利用月维度的时间抽象计算差值,完全对齐自然月的统计规则,不受实际间隔天数、闰年、大小月影响。比如:
- 2019-01-31 到 2019-02-01,月份差值为1
- 2020-02-29(闰年)到2020-03-01,月份差值为1
- 跨年份的2019-12-15到2020-01-10,月份差值为1
可直接运行的代码
第一步:清洗原始数据
你提供的原始CSV存在解析时多逗号导致的空列错位问题,先统一清洗成标准格式:
import pandas as pd # 把date列从错位的解析结果里提取成标准datetime格式 df['date'] = pd.to_datetime(df['date'].astype(str).str.strip(','), errors='coerce') # 移除date为空的无效行 df = df.dropna(subset=['date'])
第二步:按分组计算月份差
保证每个分组内的日期按时间正序排列后,计算相邻行的月份差:
# 按Id、country分组,组内按date升序排序 grouped_date = df.sort_values('date').groupby(['Id', 'country'])['date'] # 计算月维度相邻差值 df['monthdiff'] = grouped_date.transform( lambda s: (s.dt.to_period('M') - s.shift().dt.to_period('M')).map(lambda x: x.n) )
大数据量场景的优化写法
如果数据量超过百万级,逐行lambda遍历效率偏低,可以用月序号直接做差的方式提升速度,全程为向量化操作无循环:
# 提取组内上一行的日期 df['prev_date'] = grouped_date.shift() # 分别把当前日期、上一行日期转成累计月序号做差 df['monthdiff'] = (df['date'].dt.year*12 + df['date'].dt.month - df['prev_date'].dt.year*12 - df['prev_date'].dt.month) # 清理临时列 df = df.drop(columns=['prev_date'])
注意事项
- 计算前必须保证分组内的日期按时间升序排列,否则相邻行的时间顺序错乱会导致差值完全失真
- 每个分组内的第一条记录因为没有前置相邻日期,对应的
monthdiff会返回空值(NaN),属于符合预期的正常结果
内容的提问来源于stack exchange,提问作者Mato
相关产品推荐
相关产品推荐

