寻求适用于低评估预算的n元实值函数快速极小化算法

针对你这种**高评估成本、中低维度（n=2-10，通常4-5）、有限迭代次数（50-100次）**的极小化需求，推荐以下几类算法：

• 信赖域方法（Trust-Region Methods）
  这类算法通过在当前迭代点附近构建函数的二次近似模型，限定在一个"信赖域"内求解近似极小值，再根据近似模型的精度调整信赖域大小。它收敛速度快、迭代稳定性强，能在较少次数内快速逼近局部极小值，非常适配高成本函数的优化场景，中低维度下无需依赖大量样本点就能有效工作。

• 贝叶斯优化（Bayesian Optimization）
  专门针对黑箱、高成本函数设计，通过构建目标函数的概率代理模型（常用高斯过程GP），结合采集函数（如EI、PI、UCB）选择下一个最有潜力的评估点，平衡探索未知区域和利用已知优区的需求。对于n≤10的问题，高斯过程的计算成本完全可控，50-100次迭代足以找到满意的局部极小值。

• 拟牛顿法（Quasi-Newton Methods）
  比如BFGS、L-BFGS，这类算法通过迭代近似目标函数的海森矩阵逆，避免直接计算海森矩阵的高昂成本。BFGS适合维度稍低（n≤5）的情况，L-BFGS通过存储有限历史信息适配稍高维度。若能获取梯度（或通过有限差分低成本近似梯度），这类算法能在几十次迭代内快速收敛到局部极小值；无梯度的变种也可适用，但效率略降。

• 模式搜索算法（Pattern Search）
  无梯度的直接搜索算法，通过在当前点周围的模式点集中寻找更优值，逐步缩小搜索步长。无需计算梯度或构建复杂模型，实现简单、稳定性好，适合无法获取梯度的黑箱问题。中低维度下，50-100次迭代足够找到满意的局部极小值，对函数连续性要求也较低。

额外建议 #

• 若能通过自动微分或低成本方式获取梯度，优先选择信赖域方法或拟牛顿法，收敛效率更高；
• 若完全是无梯度、无解析形式的黑箱函数，贝叶斯优化或模式搜索是更稳妥的选择；
• 迭代过程中可加入早停机制，当连续若干次迭代的函数值下降幅度小于设定阈值时提前终止，节省评估成本。

内容的提问来源于stack exchange，提问作者TOP1RM