如何在Pandas/Dask DataFrame中标记每个id对应的最后日期记录
这个需求完全可以用Pandas和Dask实现,两种场景的实现方案如下:
Pandas实现
你已经提前按id和日期做了升序排序,可选用以下两种方案:
- 利用已排序特性的高性能写法:
# 倒序计数,每个id分组内计数为0的就是最后一行(最新日期行) pdf['last_date_flag'] = (pdf.groupby('id').cumcount(ascending=False) == 0).astype(int)
- 与你SQL逻辑完全对齐的通用写法(无需提前排序也可运行):
# 每个id分组内取最大日期,当前行日期等于最大值则标记为1 pdf['last_date_flag'] = (pdf['date2'] == pdf.groupby('id')['date2'].transform('max')).astype(int)
Dask实现
Dask的API和Pandas高度兼容,逻辑和通用写法完全一致:
# 逻辑和Pandas通用写法一致 ddf['last_date_flag'] = (ddf['date2'] == ddf.groupby('id')['date2'].transform('max')).astype(int) # 触发计算查看结果 print(ddf.compute())
两种实现运行后都可以得到你给出的预期输出结果。
内容的提问来源于stack exchange,提问作者ps0604
相关产品推荐
相关产品推荐

