基于梯度下降的正弦波线性回归失效：频率参数拟合问题

我之前做正弦曲线拟合时也碰到过完全一样的情况，太懂这种卡在单一参数上的挫败感了！结合你的描述——多参数联合优化效果差，分步单参数优化时唯独频率拟合失败，还怀疑到误差函数对频率的偏导数上，这个方向完全正确，大概率就是问题的核心。

为什么频率参数的优化会这么棘手？ #

• 偏导数的数值特性问题：正弦函数对频率的偏导数形式是 A*(x - c)*cos(f*(x - c) + φ)（假设中心位置为c），这个式子带有(x - c)的线性项。如果你的数据x范围较大，偏导数的数值会剧烈波动，要么导致优化器步长过大跳过最优值，要么步长过小陷入局部震荡，根本没法收敛。
• 误差函数的多峰特性：正弦函数的周期性会让误差函数关于频率的曲面出现大量局部最优峰——比如频率f和f + 2π/(Δx*N)（Δx是采样间隔，N是样本数）可能会给出几乎相同的误差值。单参数优化时如果初始值没选在全局最优峰附近，优化器很容易困在局部坑里出不来。

针对性的解决思路 #

• 先用FFT锁定频率初始值：别让优化器盲目猜频率！先对原始数据做快速傅里叶变换（FFT），找到频谱峰值对应的频率作为初始值。这一步能直接把优化起点拉到全局最优的附近，完美避开多峰陷阱。
• 调整参数形式或误差函数：
  • 把频率参数转换成对数形式（比如优化ln(f)而非f），这样偏导数的数值范围会更稳定，优化器的迭代行为会平滑很多；
  • 替换误差函数：比如用相邻数据点的相位差累积误差替代原始的平方误差，这种形式对频率的敏感度更线性，优化起来更顺畅。
• 换用带约束的多参数优化器：如果分步优化不是必须的，试试给频率加一个基于FFT结果的合理约束范围（比如峰值频率±10%），然后用L-BFGS-B这类支持约束的稳健优化器。很多时候联合优化效果差只是因为初始值不对或者没加约束，调整后反而比分步优化更准确。
• 核对偏导数的计算：如果是手动推导的梯度公式，一定要再仔细核对一遍——比如有没有漏掉(x - c)项？符号是不是搞反了？哪怕一点点小错误，都会让频率参数的优化完全跑偏。

内容的提问来源于stack exchange，提问作者user134132523