L-BFGS-B使用拉格朗日乘子求解对偶问题线搜索异常问题排查

• 内层fsolve求解精度不足引入梯度噪声：你当前调用fsolve时没有设置收敛阈值，默认精度较低，求解得到的x存在不可忽略的数值误差，代入计算得到的对偶函数值和梯度都会附带噪声。L-BFGS-B作为拟牛顿法对梯度噪声非常敏感，线搜索阶段找不到满足下降条件的步长，就会抛出ABNORMAL_TERMINATION_IN_LNSRCH错误。
• 对偶函数存在非光滑、多峰特性：你构造的问题对偶函数不是严格凹函数，存在多个局部极大值点，甚至在部分mu取值处会出现不可导点（对应内层x最优解发生跳变），梯度方向完全失效，导致优化器收敛失败。
• mu边界处数值不稳定：当mu趋近于0时，内层平衡点方程2x - mu(exp(x)+1)=0的解x趋近于0，此时梯度项-(exp(x)+x-a)在a=1时也趋近于0，优化器在边界处梯度消失，直接陷入停滞。
• 未校验fsolve求解状态：你当前直接取用fsolve的返回值作为x，没有判断其是否收敛，当mu取值不合适时fsolve可能根本没有找到正确解，代入计算的函数值和梯度完全错误，直接导致优化流程崩溃。

• 调高内层求解精度：调用fsolve时设置xtol=1e-12，同时每次求解后校验fsolve返回的残差范数，确认收敛后再返回函数值与梯度。
• 更换适配的优化器：替换L-BFGS-B为对梯度噪声、非光滑性鲁棒的优化算法，比如无梯度的差分进化算法scipy.optimize.differential_evolution，或者专门用于非光滑优化的束方法。
• 处理边界特殊情况：当mu取值小于1e-6时，直接返回x=0对应的函数值与梯度，避免边界处的数值不稳定问题。
• 做变量变换简化约束：对mu做对数变换，将[0, +∞)的约束转换为无约束优化问题，减少边界处理的复杂度。

内容的提问来源于stack exchange，提问作者Oimat