在R中用Line Search优化单参数、Nelder-Mead优化其余参数的方法

1. 嵌套优化（内-外层结构） #

这是最严谨的结合方式，核心是将Line Search作为Nelder-Mead的内部子步骤：

• 把需用Nelder-Mead优化的4个参数记为θ，需Line Search优化的第5个参数记为λ
• 外层用Nelder-Mead迭代优化θ，每次Nelder-Mead生成一组新的θ时，固定θ不变，调用Line Search找到能最大化对数似然的最优λ
• 将(θ, 最优λ)对应的对数似然值作为Nelder-Mead当前迭代的目标函数值，让Nelder-Mead基于这个值调整θ的搜索方向

这种方法的优势在于，Nelder-Mead优化θ的全过程中，始终考虑θ和λ的相互依赖关系，不会像单次分步迭代那样忽略后续θ调整对λ最优值的影响，收敛性更有保障。缺点是计算量略大，因为Nelder-Mead的每一步都要执行一次Line Search。

2. 改进型交替迭代 #

在你提出的分步迭代基础上，增加循环迭代逻辑直到收敛：

• 初始化所有5个参数的初始值(θ₀, λ₀)
• 固定λ=λ₀，用Nelder-Mead优化θ，得到θ₁
• 固定θ=θ₁，用Line Search优化λ，得到λ₁
• 计算当前对数似然值L(θ₁, λ₁)，与上一次的L(θ₀, λ₀)对比：如果相对变化小于设定的收敛阈值（比如1e-6），或者参数的绝对变化小于阈值（比如1e-8），则停止迭代；否则将(θ₁, λ₁)作为新的初始值，回到第二步循环

这种方法实现简单，计算量适中，适合大多数场景。只要循环次数足够，通常能收敛到接近全局最优的解，尤其适合对数似然函数没有太多局部最优的情况。

3. 自定义Nelder-Mead（进阶） #

如果你对Nelder-Mead的算法细节非常熟悉，可以尝试将Line Search整合到Nelder-Mead的步长更新逻辑中：

• 在Nelder-Mead的反射、扩张、收缩等核心步骤里，对第5个参数单独执行Line Search，调整其取值后再计算似然值
• 这种方式能更精细地控制参数的搜索过程，但需要修改Nelder-Mead的原始实现，容易引入bug，仅推荐有算法定制需求的场景

实践建议 #

• 提前设置合理的收敛阈值，避免无意义的迭代
• 尽量选择有先验依据的初始参数值，或者通过简单的网格搜索确定初始值，降低陷入局部最优的概率
• 对参数做标准化/缩放处理，提升优化算法的稳定性和收敛速度

内容的提问来源于stack exchange，提问作者statmath30