curve_fit拟合logistic模型提示参数协方差无法估计问题排查

问题根因 #

• 缺失合理的参数初始值
  scipy.optimize.curve_fit默认将所有待拟合参数的初始值设为1，和你当前数据的量级完全不匹配：你的Y值整体分布在0.035~0.038的极小区间，总变化幅度仅0.002左右，默认初始值会让非线性最小二乘算法直接陷入无效局部最优，根本无法收敛到合理参数区间，这就是触发如下警告的核心原因：

  OptimizeWarning: Covariance of the parameters could not be estimated

• 代码存在低级笔误
  你代码中拟合调用写的是fit(logistic, X, Y)，正确调用需要使用从scipy.optimize导入的curve_fit；另外拟合返回的参数数组变量名为popt，绘图时你写的logistic(lin,*pop)属于变量名拼写错误，会直接导致运行异常。
• 未结合数据特征匹配参数意义
  你的数据是随X增大单调下降、最终趋于平稳的反向S型曲线，对应你定义的4参数logistic函数的参数物理意义非常明确，完全可以直接给出靠谱的初始猜测：
  • 参数b对应X趋近负无穷时的函数渐近值，也就是你数据起点附近的高值，约为0.0378
  • 参数a+b对应X趋近正无穷时的函数渐近值，也就是你数据末尾平稳段的低值，约为0.0356，因此a约为-0.0022
  • 参数d对应曲线拐点的X坐标，也就是Y值下降最快的位置，从数据看在90附近
  • 参数c对应拐点处的曲线斜率，根据数据下降速度估算约为0.08

修正后可运行代码 #

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit

X = np.array([0,15,30,45,60,75,90,105,120,135,150,165,180])
Y = np.array([0.037812, 0.037735, 0.037721, 0.037634, 0.037373, 0.037173, 0.036373, 0.035833, 0.035741, 0.035727, 0.035668, 0.035674, 0.035652])

def logistic(x, a, b, c, d):
    return a / (1.0 + np.exp(-c * (x - d))) + b

# 传入提前估算的初始参数
p0 = [-0.0022, 0.0378, 0.08, 90]
popt, pcov = curve_fit(logistic, X, Y, p0=p0)

plt.plot(X, Y, 'o', label='Raw Data')
lin = np.linspace(0, 180, 1000)
plt.plot(lin, logistic(lin, *popt), '--', label='Logistic Fit')
plt.legend()
plt.show()

优化小技巧 #

如果遇到数据量级太小导致收敛困难的情况，可以先把Y值放大1000倍再做拟合，拟合完成后把参数a、b按比例缩小回原量级即可，能大幅降低算法的收敛难度。你的数据本身完全符合logistic曲线的形态，不存在模型不匹配的问题，之前拟合失败纯粹是初始值设置不合理加代码笔误导致的。

内容的提问来源于stack exchange，提问作者Rye