为何DataFrame.interpolate的spline方法会产生异常波动？

核心原因 #

• 样条插值的固有特性：高阶Spline插值要求曲线通过所有已知点且节点处连续可导，外推时会严格延续拟合出的多项式趋势。但你的数据在两端区间（1.5-4.0、7.0-7.5）已知点稀疏，高阶多项式极易触发龙格现象——为贴合有限的已知点过度拟合，导致外推段出现剧烈波动。
• 数据分布失衡：前半段和后半段的缺失值占比极高，仅存的几个已知点无法为Spline提供足够的约束，曲线走向失去控制。

1. 优化Spline参数，降低阶数 #

• 放弃3阶及以上的Spline，改用1阶（线性）或2阶样条，牺牲部分平滑度换取外推稳定性：

  spl = df.interpolate(limit_direction='both', method='spline', order=2)
  

• 分段处理：先填充中间密集数据区的缺失值，再对两端稀疏缺失段单独用线性外推，避免高阶样条在稀疏区失控。

2. 切换鲁棒性更强的插值方法 #

• Akima插值：分段三次样条，对稀疏数据和异常值的适应性更好，外推时不会产生突变波动：

  spl = df.interpolate(limit_direction='both', method='akima')
  

• PCHIP插值：分段三次Hermite多项式，保证数据单调性，外推时会延续端点的斜率趋势，适合有明确走势的数据：

  spl = df.interpolate(limit_direction='both', method='pchip')
  

3. 手动约束外推趋势 #

如果数据有明确的业务规律（如整体上升/平稳），可以先对两端缺失段拟合趋势线，再填充缺失值：

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression

# 示例：处理第一列的前端缺失
first_col = df.iloc[:, 0].dropna()
X = first_col.index.values.reshape(-1, 1)
y = first_col.values
model = LinearRegression().fit(X, y)

# 填充1.5-4.0区间的NaN
for idx in df.index[:5]:
    if pd.isna(df.loc[idx, 0]):
        df.loc[idx, 0] = model.predict([[idx]])[0]

内容的提问来源于stack exchange，提问作者jerron