关于R语言nlminb()函数未指定gradient时的梯度求解方法问询

当你调用nlminb()时未手动指定gradient参数，函数会默认使用数值差分法来近似计算目标函数的梯度。

具体细节：

• 底层依赖PORT优化库的实现，默认采用向前差分的方式：对每个待优化参数θ_i，通过计算目标函数在θ_i加上一个微小步长ε后的取值，减去原θ处的取值，再除以ε，得到该参数对应的偏导数近似值，最终组合成梯度向量。
• 你可以通过control参数中的ndeps来调整差分步长，ndeps是一个与待优化参数长度匹配的向量，每个元素对应对应参数的差分步长，默认值为1e-4。
• 相比手动提供解析梯度，数值差分的缺点是需要额外调用多次目标函数（参数维度为n时，至少需要n+1次调用），在参数维度较高或目标函数计算成本大的场景下，效率和精度都会受影响。如果能推导并提供解析梯度，会是更优的选择。

内容的提问来源于stack exchange，提问作者aby jose