Pandas多列DataFrame分组插值异常：大数据集NaN未填充问题求助

问题说明 #

用户拥有包含多Subject、每日Value的数据集，示例数据如下：

data = {
    'Subject': ['3','3','3','3','3','3','3','3','3','10','10','10','10','10','10','10','10','10'],
    'Day': [1, 2, 3, 4, 5, 6, 7, 8, 9, 1, 2, 3, 4, 5, 6, 7, 8, 9],
    'Value': [19.0959, 19.2321, 19.3088, 19.2589, 19.3085, 19.0455, 19.3491, NaN, 19.1823, 25.7506, 25.8287, NaN, 26.2913, NaN, 26.1501, 25.9447, 25.9493, 25.9629]
}

转换为DataFrame后，尝试使用以下代码对Value列的缺失值进行分组插值：

df['Value'] = df.groupby('Subject')['Value'].transform(lambda group: group.interpolate())

该代码在小数据集上有效，但当数据规模扩大至1000个不同Subject（每个对应9天数据）时，部分Subject的NaN（如Subject 10的Day 5）仍未被填充。

解决建议 #

• 指定插值方向：默认线性插值仅处理单向连续NaN，添加limit_direction='both'可从两端向中间插值，覆盖更多场景：

  df['Value'] = df.groupby('Subject')['Value'].transform(
      lambda x: x.interpolate(method='linear', limit_direction='both')
  )
  

• 确保分组内数据有序：大数据集中可能存在个别Subject的Day顺序混乱，排序后再插值可避免逻辑失效：

  df = df.sort_values(['Subject', 'Day'])
  df['Value'] = df.groupby('Subject')['Value'].transform(
      lambda x: x.interpolate(method='linear', limit_direction='both')
  )
  

• 兜底填充孤立NaN：若存在前后都无有效值的孤立NaN，可先用插值，剩余NaN用分组均值/中位数填充：

  def interpolate_group(group):
      # 优先线性插值
      group = group.interpolate(method='linear', limit_direction='both')
      # 剩余NaN用分组均值填充
      return group.fillna(group.mean())
  
  df = df.sort_values(['Subject', 'Day'])
  df['Value'] = df.groupby('Subject')['Value'].transform(interpolate_group)
  

• 补全缺失日期：检查每个Subject的Day是否覆盖1-9天，若存在Day缺失，先补全日期再插值：

  # 生成所有Subject和Day的完整组合
  full_index = pd.MultiIndex.from_product(
      [df['Subject'].unique(), range(1,10)],
      names=['Subject', 'Day']
  )
  # 重新索引补全缺失的Day记录
  df = df.set_index(['Subject', 'Day']).reindex(full_index).reset_index()
  # 执行分组插值
  df['Value'] = df.groupby('Subject')['Value'].transform(
      lambda x: x.interpolate(method='linear', limit_direction='both')
  )
  

内容的提问来源于stack exchange，提问作者F_pandas_groupby