如何处理DataFrame高频缺失列？向前填充及优化方案咨询

一、实现目标向前填充的代码 #

针对你需要按国家分组，用最近的有效值填充后续NA直到新有效值出现的需求，直接用pandas的分组+向前填充即可实现：

import pandas as pd

# 按国家分组，对目标列执行向前填充
df['freshwaster_production_pc'] = df.groupby('Country_Name')['freshwaster_production_pc'].ffill()

这个操作会确保每个国家的填充独立进行，ffill()方法会自动用最近的非缺失值覆盖后续NA，完全匹配你给出的预期输出效果。

二、更优缺失值处理方案 #

除了向前填充，结合你的数据特性（每5年一个有效值、关注时间趋势），还有以下可选方案：

• 线性/时间插值：如果该指标随时间有缓慢渐变的趋势，线性插值会在两个有效值之间生成平滑过渡的填充值，比单纯的向前填充更贴合时间变化规律：

  # 先将年份列转为datetime类型（时间插值需要）
  df['year'] = pd.to_datetime(df['year'], format='%Y')
  # 按国家分组后执行时间插值
  df['freshwaster_production_pc'] = df.groupby('Country_Name')['freshwaster_production_pc'].interpolate(method='time')
  

• 周期均值填充：如果同一国家的每个5年周期内指标有相似性，可以计算每个周期的有效值均值，填充对应周期的NA，但这种方法适合指标波动较小的场景。

方案对比 #

你选择的向前填充已经是适配当前数据的合理方案：它保留了每个周期的真实观测值，不会引入拟合误差；如果你的指标有明显的上升/下降趋势，线性插值能更好地体现时间变化规律，可作为备选。

内容的提问来源于stack exchange，提问作者Joe