Scipy的SLSQP方法如何处理带等式约束的极小化问题？

核心数学基础：序列最小二乘规划（SLSQP） #

scipy.optimize.minimize(..., method='SLSQP')里的SLSQP全称是Sequential Least Squares Programming（序列最小二乘规划），它是面向约束优化问题的梯度类算法，核心逻辑基于KKT最优性条件——这是约束优化问题存在局部最优解的必要条件，要求目标函数梯度与约束梯度线性相关，同时满足互补松弛性规则。

等式约束h_j(x)=0的直接处理方式 #

SLSQP不会像你尝试的那样把等式约束松弛为-ε ≤ h_j(x) ≤ ε的不等式，而是直接将其作为严格硬约束纳入每一步迭代：

• 每次迭代时，对目标函数做二次近似，对等式约束h_j(x)=0做线性近似（用当前迭代点的梯度展开）。
• 构建一个二次规划（QP）子问题，其中直接包含线性化后的等式约束h_j(x_k) + ∇h_j(x_k)^T(x - x_k) = 0（x_k为当前迭代点），求解这个QP子问题得到下一步的搜索方向。
• 通过线搜索确定合适步长，确保更新后的迭代点尽可能满足原等式约束，同时让目标函数下降。

混合约束（不等式+等式）的整体处理流程 #

当问题同时包含不等式约束g_i(x) ≤ 0和等式约束h_j(x)=0时，SLSQP的处理逻辑统一且高效：

1. 初始化：设定初始迭代点x0，计算目标函数值、所有约束的函数值，以及目标函数、约束的梯度。
2. 构建近似子问题：对目标函数做二次泰勒展开，对所有约束（不等式、等式）做线性泰勒展开，得到带线性约束的二次规划子问题。
3. 求解QP子问题：在当前迭代点邻域内，求解这个QP子问题，得到使近似目标函数最小化的搜索方向。
4. 线搜索与迭代更新：沿搜索方向执行线搜索，找到既能保证约束满足（或逐步逼近约束），又能让原目标函数下降的步长，更新迭代点x_{k+1}。
5. 收敛判断：检查当前点的KKT条件满足程度（比如目标函数梯度与约束梯度的线性组合残差、约束违反量等），若满足预设阈值则停止迭代，否则重复上述步骤。

为什么将等式转成不等式会导致收敛缓慢 #

你尝试的-ε ≤ h_j(x) ≤ ε松弛方式，本质是把硬约束变成软约束，带来两个关键问题：

• 自由度冗余：优化器需要在一个区间内寻找可行解，而非严格的等式边界，这会让迭代过程中需要更多步来缩小可行域，逼近原等式约束。
• 数值稳定性问题：如果ε设置过小，优化器在接近约束边界时会遇到数值振荡，导致步长不断缩小，迭代次数剧增；如果ε设置过大，最终解可能严重偏离原等式约束，失去意义。
  而SLSQP直接处理等式约束，能精准利用KKT条件中的互补性，每一步迭代都直接向满足等式约束的方向逼近，因此收敛效率远高于松弛约束的方式。

内容的提问来源于stack exchange，提问作者Math