pandas DataFrame中为每行最后一个非空季节日期添加6个月
实现方案
核心逻辑
需求本质是逐行定位时间顺序上最后一个非空的季节日期,仅对该位置的日期值增加6个月偏移,其余列的原始值保持不变。
实现时要注意两个细节:
- 题目示例中的6个月是按自然月对齐的(比如2020-12-31加6个月得到2021-06-30,而非硬算182天的时间差),需要用pandas专门的月份偏移方法处理,避免月末日期错位
- 所有季节列按S1、S2、S3的先后顺序从左到右排列,直接借助Series自带的
last_valid_index()方法即可快速定位最后一个非空值的位置,不需要手动逐格遍历判断
可直接复现的代码
1. 先构造和题目一致的测试DataFrame
import pandas as pd # 复现题目示例输入 df = pd.DataFrame({ "S1": ["2020-12-31"] * 4, "S2": [pd.NaT, pd.NaT, "2020-12-31", "2020-12-31"], "S3": [pd.NaT, pd.NaT, pd.NaT, "2021-01-31"] }) # 统一转换为datetime格式 df = df.apply(pd.to_datetime)
2. 逐行处理的基础版本(适合中小规模数据)
for idx, row in df.iterrows(): # 获取当前行最后一个非空值的列名 target_col = row.last_valid_index() # 跳过整行都是空值的边界情况 if target_col is None: continue # 给目标日期加6个月,自动适配月末边界 df.loc[idx, target_col] = row[target_col] + pd.DateOffset(months=6)
运行后得到的输出和题目给出的期望结果完全一致:
S1 S2 S3 0 2021-06-30 NaT NaT 1 2021-06-30 NaT NaT 2 2020-12-31 2021-06-30 NaT 3 2020-12-31 2020-12-31 2021-07-31
3. 向量化优化版本(适合十万行以上的大尺寸数据)
逐行循环在数据量较大时效率偏低,可以用列索引定位的方式减少循环开销:
# 生成非空值的布尔掩码 valid_mask = df.notna() # 从右往左取每行第一个非空的列名,即最后一个有效列 last_valid_cols = valid_mask.loc[:, ::-1].idxmax(axis=1) # 批量计算偏移后的新日期 new_values = df.apply(lambda r: r[r.last_valid_index()] + pd.DateOffset(months=6), axis=1) # 回填新值到对应位置 for idx, col in last_valid_cols.items(): df.loc[idx, col] = new_values.loc[idx]
常见踩坑提醒
- 不要用
pd.Timedelta(days=182)硬加天数:这种方式不会对齐自然月,遇到大小月、闰年的场景很容易出现日期错位,和题目示例的输出逻辑不匹配 - 确保季节列是按时间先后从左到右排列的,如果列顺序打乱,
last_valid_index()返回的位置就不是时间上最晚的季节日期 - 必须加整行空值的判断,否则遇到全NaT的行时代码会抛出索引错误
内容的提问来源于stack exchange,提问作者TheCluelessCoder
相关产品推荐
相关产品推荐

