如何用Julia的Optim包实现带超立方体硬约束的投影梯度下降？

关键结论 #

你没完全看错文档——Optim的「Box-Constrained Optimization」章节默认讲的内点法确实用的是对数障碍这类软约束机制，但要实现你说的「硬投影（欧几里得投影回可行域）」的梯度下降，有两种靠谱的变通方案：

方案1：手动加投影步骤 + 无约束梯度下降 #

最直接的方式是自己写投影逻辑，配合Optim的无约束梯度下降方法：

• 先定义好超立方体的上下界，写一个简单的投影函数（用clamp.()就能实现每个维度的截断，这就是欧几里得投影到超立方体的操作）
• 自定义迭代回调，每次迭代后把参数强制拉回可行域
• 目标函数和梯度和无约束情况完全一样，不用改

示例代码：

using Optim

# 定义超立方体约束：每个维度的上下限
const lower_bounds = [0.0, 0.0]
const upper_bounds = [1.0, 1.0]

# 欧几里得投影到超立方体
project_to_box(x) = clamp.(x, lower_bounds, upper_bounds)

# 示例目标函数（Rosenbrock）和梯度
f(x) = (1.0 - x[1])^2 + 100.0 * (x[2] - x[1]^2)^2
function grad!(G, x)
    G[1] = -2.0*(1.0 - x[1]) - 400.0*(x[2] - x[1]^2)*x[1]
    G[2] = 200.0*(x[2] - x[1]^2)
end

# 回调函数：每次迭代后投影参数
callback(state) = begin
    state.x .= project_to_box(state.x)
    return false  # 返回false让迭代继续
end

# 优化选项
opts = Optim.Options(
    callback=callback,
    iterations=1000,
    show_trace=true
)

# 初始点（哪怕在约束外也没关系）
x0 = [1.5, -0.5]

# 运行无约束梯度下降+投影回调
res = optimize(f, grad!, x0, GradientDescent(), opts)

方案2：直接用带硬约束的LBFGS/GradientDescent #

你提到的outer_iterations=0其实是内点法的设置，和硬投影没关系，但Optim的部分优化器（比如LBFGS、GradientDescent）支持直接传入lower和upper参数，此时底层会自动用硬投影策略处理约束，而非软障碍：

# 直接在优化调用时指定上下界
res = optimize(f, grad!, lower_bounds, upper_bounds, x0, LBFGS())

这种方式下，每次迭代后参数都会被投影到超立方体内，完全符合你的需求，不用自己写回调。

对文档的补充说明 #

Optim的Box-Constrained章节确实重点讲了内点法（软约束），但它的很多优化器在传入上下界参数时，会自动切换为硬约束的投影模式，这部分文档没写得特别明确，容易让人误解。你可以去看这些优化器的源码注释，能确认它们的约束处理是硬投影而非软约束。

内容的提问来源于stack exchange，提问作者ufghd34