基于AccumDist加权填充Pandas中ValT列缺失值的方法问询

核心思路 #

利用前后最近的有效ValT值，结合AccumDist的差值做线性插值（本质就是按距离加权平均），自动处理连续多个缺失值的情况。

方法一：手动实现加权计算 #

先构造示例数据：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'Idx': [1,2,3,4,5,6,7,8],
    'AccumDist': [0, 10, 20, 30, 40, 50, 60, 70],
    'ValT': [5, np.nan, np.nan, 20, np.nan, 30, np.nan, np.nan]
})

1. 标记每个缺失值对应的前后有效值及距离

# 向前填充获取前一个有效ValT
df['prev_val'] = df['ValT'].ffill()
# 向后填充获取后一个有效ValT
df['next_val'] = df['ValT'].bfill()

# 分组获取前/后有效值对应的累积距离
df['prev_dist'] = df.groupby(df['ValT'].notna().cumsum())['AccumDist'].transform('first')
df['next_dist'] = df.groupby((df['ValT'].notna()[::-1].cumsum())[::-1])['AccumDist'].transform('last')

2. 计算加权填充值
   对ValT为NaN的行，用线性插值公式计算：

df['ValT_filled'] = df['ValT'].where(
    df['ValT'].notna(),
    df['prev_val'] + (df['next_val'] - df['prev_val']) * (df['AccumDist'] - df['prev_dist']) / (df['next_dist'] - df['prev_dist'])
)

方法二：用Pandas内置插值函数（更简洁） #

直接使用interpolate()方法，指定以AccumDist为插值基准，自动完成线性加权填充：

df['ValT_filled'] = df['ValT'].interpolate(method='linear', x=df['AccumDist'])

这个方法会自动识别每个缺失值的前后有效区间，按AccumDist的线性关系填充，结果和手动计算完全一致。

注意事项 #

• 如果DataFrame开头或结尾存在无前后有效值的NaN，这些值会保留，可根据需求用ffill()/bfill()单独处理，或直接删除对应行。
• 确保AccumDist列是连续递增/递减的数值型数据，否则插值结果可能不符合预期。

内容的提问来源于stack exchange，提问作者svn