基于Scipy的有界优化求助：对数似然函数极小化遇阻

你遇到的问题在带边界约束的数值优化里太常见了——CG这类无约束共轭梯度法本来就没考虑变量边界，而且Nelder-Mead作为纯直接搜索法，不仅对多变量问题效率低，还完全不处理约束，很容易跑出0-1范围。下面给你几个Scipy里专门适配这种场景的方法，亲测好用：

首选：L-BFGS-B 方法 #

这是Scipy里处理有界约束优化的黄金选择，属于拟牛顿法的变种，专门为带上下界的问题设计，不需要提供Hessian矩阵，效率比Nelder-Mead高得多，还能严格把变量限制在0-1范围内。

代码示例 #

import scipy.optimize as sp
import numpy as np

# 定义你的对数似然函数（注意：如果是极大似然问题，要加负号转为极小化目标）
def neg_log_likelihood(params, data):
    x, y, z = params
    prob_k0, prob_k1 = data
    term1 = prob_k0 * np.log((1 - x)**(1 - y))
    term2 = prob_k1 * np.log((1 - x)**(1 - z))
    return -(term1 + term2)  # 极小化负对数似然等价于最大化对数似然

# 手动实现梯度（可选，但提供后会大幅提升优化效率和精度）
def gradient(params, data):
    x, y, z = params
    prob_k0, prob_k1 = data
    # 对x的偏导
    dx = -(prob_k0 * (y - 1)/(1 - x) + prob_k1 * (z - 1)/(1 - x))
    # 对y的偏导
    dy = -(prob_k0 * np.log(1 - x))
    # 对z的偏导
    dz = -(prob_k1 * np.log(1 - x))
    return np.array([dx, dy, dz])

# 设置初始参数（尽量选在0-1范围内）
initial_params = [0.5, 0.5, 0.5]
# 定义每个变量的边界：(下限, 上限)
bounds = [(0, 1), (0, 1), (0, 1)]
# 假设data包含prob(k0)和prob(k1)
data = (0.3, 0.7)

# 执行优化
result = sp.optimize.minimize(
    fun=neg_log_likelihood,
    x0=initial_params,
    args=(data,),
    method='L-BFGS-B',
    jac=gradient,  # 若不想手动写梯度，可设jac='2-point'让Scipy自动计算
    bounds=bounds,
    options={'gtol': 1e-05, 'disp': True}
)

print("极小值点（对应原问题的极大似然估计）：", result.x)
print("极小值（负对数似然值）：", result.fun)

备选：SLSQP 方法 #

如果你以后可能需要添加额外的等式/不等式约束（比如x + y <= 1这类），SLSQP是更好的选择——它支持通用约束，同时也能处理变量边界，灵活性很强。

代码示例 #

result_slsqp = sp.optimize.minimize(
    fun=neg_log_likelihood,
    x0=initial_params,
    args=(data,),
    method='SLSQP',
    jac=gradient,
    bounds=bounds,
    options={'ftol': 1e-05, 'disp': True}
)

进阶：trust-constr 方法 #

如果你的问题变量规模较大，或者约束更复杂，trust-constr（信任域反射法）是Scipy里的高端选项，它对约束的处理更稳健，收敛性也更好，适合追求高精度的场景。

代码示例 #

result_trust = sp.optimize.minimize(
    fun=neg_log_likelihood,
    x0=initial_params,
    args=(data,),
    method='trust-constr',
    jac=gradient,
    bounds=bounds,
    options={'gtol': 1e-05, 'disp': True}
)

为什么之前的方法不行？ #

• CG法：属于无约束优化算法，完全不处理变量边界，而且你的问题里变量数量和是否需要Hessian无关——CG法本身不需要Hessian，但它无法应对边界约束，所以容易因变量越界导致数值精度问题。
• Nelder-Mead法：是纯直接搜索法，靠迭代调整单纯形来寻优，既不利用梯度信息，也不处理约束，变量多了之后搜索效率极低，还很容易跑出0-1范围。

额外提示 #

1. 务必确认目标函数方向：对数似然通常是要最大化，所以需要转为极小化负对数似然，否则优化结果会完全相反。
2. 尽量提供手动实现的梯度：虽然Scipy可以自动计算有限差分梯度，但手动实现的梯度更准确，能大幅提升优化速度和稳定性。
3. 初始参数选在0-1范围内：避免优化一开始就陷入边界外的数值不稳定区域。

内容的提问来源于stack exchange，提问作者Rituraj Singh