pandas 按行类型多规则填充end_date缺失值的高效实现(适配千万级数据)
待处理的DataFrame
我有如下结构的DataFrame,相关字段已经完成日期格式转换:
df = pd.DataFrame({'person_id': [101,101,101,101,202,202,202], 'start_date':['5/7/2013 09:27:00 AM','09/08/2013 11:21:00 AM','06/06/2014 08:00:00 AM','06/06/2014 05:00:00 AM','12/11/2011 10:00:00 AM','13/10/2012 12:00:00 AM','13/12/2012 11:45:00 AM'], 'end_date':['5/12/2013 09:27:00 AM',np.nan,'06/11/2014 08:00:00 AM',np.nan,'12/16/2011 10:00:00','10/18/2012 00:00:00',np.nan], 'type':['O','I','O','O','I','O','I']}) df.start_date = pd.to_datetime(df.start_date) df['end_date'] = pd.to_datetime(df.end_date)
end_date列缺失值填充规则
需要按以下规则完成end_date列的fillna()缺失值填充:
- 仅针对
type=I的行应用两类填充逻辑:- 规则a:若某行属于对应
person_id分组下的非最后一行,且end_date为NA值,复制同分组下相邻下一行的end_date值完成填充 - 规则b:若某行属于对应
person_id分组下的最后一行,且end_date为NA值,取该行start_date向后顺延10天的日期作为填充值(无后续行可取数,使用固定规则)
- 规则a:若某行属于对应
- 针对
type=O的行,不适用上述I类规则,直接复制该行自身的start_date值填充end_date的缺失值
当前实现的问题
目前写出的实现代码存在逻辑重复、冗余计算多的问题,代码如下:
df['end_date'] = np.where(df['type'].str.contains('I'),pd.DatetimeIndex(df['end_date'].bfill()),pd.DatetimeIndex(df.start_date.dt.date)) df['end_date'] = np.where(df['type'].str.contains('I'),pd.DatetimeIndex(df['start_date'] + pd.DateOffset(10)),pd.DatetimeIndex(df.start_date.dt.date))
由于这套逻辑需要运行在1500万行规模的大数据集上,目前的写法重复执行了两次类型判断与数组运算,执行效率低、代码冗余,需要寻找更优雅、运行效率更高的实现方案。
最终期望的输出结果参考下图:
内容的提问来源于stack exchange,提问作者The Great
相关产品推荐
相关产品推荐

