使用Scipy优化器结合Pandas目标函数时的索引报错问题排查

问题描述 #

尝试创建优化器通过后移移动平均线拟合时间序列数据时，触发错误：

only integer scalar arrays can be converted to a scalar index.

涉及代码如下：

目标函数 #

def mse(shift, prices, d=5):
    ma = prices.rolling(d).mean().shift(-shift)
    return ((prices - ma)**2).sum()

优化器函数 #

def reduce_MSE(prices: pd.Series, d: int) -> int:
    init_value = 1
    shift = minimize(mse, x0=init_value, args=(prices,d), options={'maxiter':10000}, bounds=((0.0, 10.0),))
    return shift

排查确认错误由ma = prices.rolling(d).mean().shift(-shift)触发，单独调用mse函数正常，移除该行后优化器也能运行。

报错原因 #

scipy的minimize是连续优化器，迭代过程中会传入浮点类型的数组作为参数传递给目标函数；但pandas的shift()方法要求偏移量必须是整数标量，两者类型不匹配导致报错。

你单独调用mse时传入的是整数，所以没问题，但优化器运行时会生成1.2、3.5这类浮点值，传入shift()后直接触发类型错误。

解决方案 #

方法1：强制转换偏移量为整数 #

修改目标函数，将传入的浮点型shift转为整数，适配pandasshift()的要求：

def mse(shift, prices, d=5):
    # 把浮点型偏移量转为整数（可用round取整或直接截断）
    shift_int = int(round(shift))
    ma = prices.rolling(d).mean().shift(-shift_int)
    return ((prices - ma)**2).sum()

注意：这种方式相当于将问题转为整数优化，但scipyminimize默认是连续优化，可能出现精度偏差。如果需要严格整数优化，建议使用专门的整数优化工具（比如scipy.optimize.differential_evolution配合整数约束）。

方法2：使用连续型偏移计算替代pandas shift #

如果希望保留连续优化的特性，避免强制转整数，可以用插值实现连续偏移的移动平均线：

def mse(shift, prices, d=5):
    ma = prices.rolling(d).mean()
    # 创建带连续偏移的索引，用线性插值填充缺失值
    shifted_ma = ma.reindex(ma.index + shift).interpolate(method='linear')
    # 对齐原prices的索引后计算MSE
    return ((prices - shifted_ma.loc[prices.index])**2).sum()

这种方式允许shift为浮点值，优化器可在连续空间搜索最优解，适合需要非整数偏移的场景。

内容的提问来源于stack exchange，提问作者user20898057