LBFGS高维场景Hessian近似精度及scipy实现优化咨询

1. 高维场景下LBFGS Hessian近似精度及特殊场景理论结论 #

LBFGS作为有限记忆拟牛顿法，仅保留最近m步的s（参数增量）和y（梯度增量）向量重构近似Hessian，本身没有精确逼近全Hessian的设计目标，100维二次型下出现近似误差属于正常现象：

• 通用场景下，当迭代步数远小于问题维度时，近似Hessian只能保证在最近m步张成的低维子空间内与真实Hessian投影一致，其余维度默认继承初始矩阵的设定；维度超过10000时如果m还是取常规的10~100，近似误差会被其余99%以上的维度放大，几乎不可能得到全矩阵的可靠估计。
• 对角占优场景存在明确的理论结论：当真实Hessian满足一致对角占优且最大最小特征值之比（条件数）不超过2_{3倍时，只要初始估计取对角阵，且迭代过程中每步的线搜索满足Wolfe条件，m取到问题维度的1%}5%即可保证近似Hessian的对角元素误差在10%以内，非对角元素的误差会被对角占优特性天然压制，整体近似精度远高于非对角占优场景。
• 100维二次型下观测到近似效果差，大概率是二次型的条件数过高，或者m取值太小，导致近似Hessian没能覆盖到二次型的主特征方向。

2. 自定义对角初始Hessian的性能影响 #

Scipy的scipy.optimize.fmin_l_bfgs_b默认用单位阵作为初始H0，属于无先验信息时的中性选择，提前掌握准确的Hessian对角估计值的收益非常明确：

• 对于强凸问题，初始H0与真实Hessian的谱分布越接近，收敛所需的迭代次数越少，对角初始矩阵如果和真实对角元素误差在20%以内，在高维对角占优场景下可以减少30%~70%的迭代步数，尤其是前10步的收敛速度提升会非常明显。
• 对于非对角占优的强凸问题，自定义对角初始H0的收益会下降，但依然可以减少10%~30%的迭代次数，不会出现性能劣化的情况。
• 修改初始H0时仅需要保证初始矩阵是对称正定的，只要输入的对角元素均为正数即可满足要求，不会破坏LBFGS的收敛性保证。

3. 测试相关补充建议 #

已完成的对角占优、强非对角两类场景测试，以及m=50、m=500的参数对比，已经覆盖了核心的变量维度：

• 修改的可输出s/y向量的适配接口实用性较强，注意LBFGS的Hessian重构公式为H_k = (V_k^T ... V_1^T) H0 (V_1 ... V_k) + sum_{i=0}^{k-1} (V_k^T ... V_{i+1}^T) \rho_i s_i s_i^T (V_{i+1} ... V_k)，不要搞错重构顺序导致结果出现偏差。
• 测试时可额外加入条件数作为控制变量，能更清晰的观测不同场景下的近似精度变化规律。

内容的提问来源于stack exchange，提问作者user6566791