You need to enable JavaScript to run this app. pandas 按行类型多规则填充end_date缺失值的高效实现(适配千万级数据)
优惠活动
大模型
产品
解决方案
定价
更多

pandas 按行类型多规则填充end_date缺失值的高效实现(适配千万级数据)

待处理的DataFrame

我有如下结构的DataFrame,相关字段已经完成日期格式转换:

df = pd.DataFrame({'person_id': [101,101,101,101,202,202,202],
                        'start_date':['5/7/2013 09:27:00 AM','09/08/2013 11:21:00 AM','06/06/2014 08:00:00 AM','06/06/2014 05:00:00 AM','12/11/2011 10:00:00 AM','13/10/2012 12:00:00 AM','13/12/2012 11:45:00 AM'],
                        'end_date':['5/12/2013 09:27:00 AM',np.nan,'06/11/2014 08:00:00 AM',np.nan,'12/16/2011 10:00:00','10/18/2012 00:00:00',np.nan],
                        'type':['O','I','O','O','I','O','I']})
df.start_date = pd.to_datetime(df.start_date)
df['end_date'] = pd.to_datetime(df.end_date)
end_date列缺失值填充规则

需要按以下规则完成end_date列的fillna()缺失值填充:

  • 仅针对type=I的行应用两类填充逻辑:
    • 规则a:若某行属于对应person_id分组下的非最后一行,且end_date为NA值,复制同分组下相邻下一行的end_date值完成填充
    • 规则b:若某行属于对应person_id分组下的最后一行,且end_date为NA值,取该行start_date向后顺延10天的日期作为填充值(无后续行可取数,使用固定规则)
  • 针对type=O的行,不适用上述I类规则,直接复制该行自身的start_date值填充end_date的缺失值
当前实现的问题

目前写出的实现代码存在逻辑重复、冗余计算多的问题,代码如下:

df['end_date'] = np.where(df['type'].str.contains('I'),pd.DatetimeIndex(df['end_date'].bfill()),pd.DatetimeIndex(df.start_date.dt.date))
df['end_date'] = np.where(df['type'].str.contains('I'),pd.DatetimeIndex(df['start_date'] + pd.DateOffset(10)),pd.DatetimeIndex(df.start_date.dt.date))

由于这套逻辑需要运行在1500万行规模的大数据集上,目前的写法重复执行了两次类型判断与数组运算,执行效率低、代码冗余,需要寻找更优雅、运行效率更高的实现方案。

最终期望的输出结果参考下图:
示例输出结果


内容的提问来源于stack exchange,提问作者The Great

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 17:15:01