如何评估曲线拟合模型优劣？curve_fit相关技术问询

一、模型优劣如何评估？ #

可以从三个核心维度评估：

• 统计指标量化：
  • 决定系数（$R^{2$）：衡量模型对数据变异的解释能力，取值0到1，越接近1拟合效果越好。计算公式为：$R}2 = 1 - \frac{\sum(y_{真实} - y_{拟合})^2}{\sum(y_{真实} - y_{均值})^2}$
  • 均方根误差（RMSE）：均方误差的平方根，和原始数据单位一致，数值越小说明拟合偏差越小
  • 平均绝对误差（MAE）：所有残差绝对值的平均值，对异常值敏感度低于MSE，数值越小拟合效果越好
• 残差分布分析：
  绘制残差（真实值-拟合值）散点图，若残差随机分布在0附近，无明显递增、递减或周期性趋势，说明模型拟合合理；若存在明显趋势，意味着模型可能遗漏变量或形式不合适
• 可视化对比：
  将原始数据点与拟合曲线绘制在同一张图中，直观观察曲线是否贴合数据的整体分布

二、实际数据与拟合曲线的差异怎么计算？ #

核心是计算残差，再通过统计指标量化整体差异：

• 单个数据点差异：$residual_i = y_{真实,i} - y_{拟合,i}$，其中$y_{拟合,i} = objective(x_i, a_{拟合}, b_{拟合}, c_{拟合})$
• 整体差异的量化指标：
  • 均方误差（MSE）：$MSE = \frac{1}{n}\sum_{i=1}^n (y_{真实,i} - y_{拟合,i})^2$
  • 平均绝对误差（MAE）：$MAE = \frac{1}{n}\sum_{i=1}^n |y_{真实,i} - y_{拟合,i}|$
  • 均方根误差（RMSE）：$RMSE = \sqrt{MSE}$

Python代码示例：

import numpy as np
from scipy.optimize import curve_fit

# 从2D数组提取x和y数据
x = your_2d_array[:, 0]
y = your_2d_array[:, 1]

# 执行拟合
params, _ = curve_fit(objective, x, y)
a_fit, b_fit, c_fit = params

# 计算拟合值与差异指标
y_fit = objective(x, a_fit, b_fit, c_fit)
residuals = y - y_fit
mse = np.mean(residuals ** 2)
mae = np.mean(np.abs(residuals))
rmse = np.sqrt(mse)
r_squared = 1 - (np.sum(residuals ** 2) / np.sum((y - np.mean(y)) ** 2))

三、curve_fit是否采用均方误差（MSE）进行曲线拟合？ #

是的。scipy.optimize.curve_fit默认使用加权非线性最小二乘法，未指定sigma参数时，等价于最小化均方误差（MSE）。它的核心目标是最小化残差的平方和（$\sum(y_{真实} - y_{拟合})^2$），而MSE是该平方和除以样本数，两者的最小化目标完全等价（除以常数不改变最小值的位置）。

若指定sigma参数，则会最小化加权平方和$\sum\left(\frac{y_{真实} - y_{拟合}}{\sigma}\right)^2$，此时不再是普通MSE，但默认场景下是基于MSE的拟合。

四、如何控制这种拟合差异？ #

可以从数据、模型、拟合过程三个层面入手：

• 数据层面：
  • 识别并剔除异常值：异常值会大幅拉高拟合误差，通过残差分析或3σ原则定位异常点并处理，能有效降低偏差
  • 扩充样本量：过少的数据易受噪声干扰，增加样本可让拟合曲线更稳定，减少随机误差的影响
• 模型层面：
  • 调整模型复杂度：若二次多项式拟合效果差，可尝试更高次多项式（如三次）或加入其他特征；但需警惕过拟合，必要时加入正则化惩罚项限制参数规模
• 拟合过程控制：
  • 设置p0参数：提供合理的参数初始猜测值，帮助拟合更快收敛到全局最优解，避免陷入局部最小值
  • 指定bounds参数：限制参数的取值范围，防止参数出现极端不合理值导致曲线偏离数据
  • 加权拟合：通过sigma参数为不同可信度的数据点设置权重，让拟合更侧重高质量数据，降低低质量数据的干扰

内容的提问来源于stack exchange，提问作者david