如何更合理处理时间序列数据缺失值？含首行缺失及多列填充场景

问题1：首行连续缺失值的处理 #

对于首行存在连续NaN的场景，线性插值默认无法填充前置缺失（缺少前向参考点），可根据数据特性选择以下方法：

方法1：向前填充（基于第一个有效值反向补全） #

适合平稳序列，用第一个非缺失值直接覆盖前面的连续缺失：

# 处理value列首行缺失
first_valid_idx = df['value'].first_valid_index()
df['value'].loc[:first_valid_idx] = df['value'].loc[first_valid_idx]

# 处理volume列首行缺失
first_valid_idx_vol = df['volume'].first_valid_index()
df['volume'].loc[:first_valid_idx_vol] = df['volume'].loc[first_valid_idx_vol]

方法2：线性插值结合边界外推 #

适合有明显线性趋势的序列，通过limit_direction='both'让插值逻辑从第一个有效值向前外推（基于后续数据斜率反推前置缺失）：

df['value'] = df['value'].interpolate(method='linear', limit_direction='both')
df['volume'] = df['volume'].interpolate(method='linear', limit_direction='both')

注意：该方法依赖后续数据的线性特征，非线性序列使用可能引入偏差。

方法3：均值填充（适合无趋势的平稳序列） #

如果数据整体波动小，直接用列的均值填充所有缺失（包括首行）：

df['value'] = df['value'].fillna(df['value'].mean())
df['volume'] = df['volume'].fillna(df['volume'].mean())

问题2：多列同时处理缺失值 #

Pandas支持批量处理多列缺失值，无需逐列操作：

方案1：批量线性插值（含边界外推） #

直接指定目标列调用interpolate，一次性完成多列的缺失填充（覆盖首行和中间缺失）：

df[['value', 'volume']] = df[['value', 'volume']].interpolate(method='linear', limit_direction='both')

方案2：混合填充（首行补值+中间线性插值） #

若想对首行缺失用有效值补全，中间缺失用线性插值，可分两步操作：

# 第一步：填充首行连续缺失
for col in ['value', 'volume']:
    first_valid = df[col].first_valid_index()
    df[col].loc[:first_valid] = df[col].loc[first_valid]

# 第二步：对中间缺失做线性插值
df[['value', 'volume']] = df[['value', 'volume']].interpolate(method='linear')

方案3：时间专用插值（适合非固定频率序列） #

如果是严格时间索引的序列，使用method='time'可基于时间间隔计算插值，精度更高：

df[['value', 'volume']] = df[['value', 'volume']].interpolate(method='time', limit_direction='both')

验证填充效果 #

处理完成后，可通过以下代码确认缺失值已全部填充：

print(df.isna().sum())

内容的提问来源于stack exchange，提问作者Charles Yan