拟牛顿法全局收敛性相关:余弦下界不等式的证明问询
求助:正定矩阵条件数与下降方向夹角的推导困惑
我最近研读《数值优化》时碰到了一个推导瓶颈,想请大家帮忙理清思路:
先明确前提条件:
- 假设$B_k$是正定矩阵,且条件数一致有界,即存在常数$M$,使得
$$ ||B_k||\cdot ||B_k^{-1}|| \leq M \quad \forall k\in\mathbb{N}, $$ - 记$\nabla f(x_k) := \nabla f_k$,且$p_k := -B_k^{-1} \nabla f_k$是下降方向。
书中(Nocedal & Wright,第二版,第40页)给出了一个结论,称易证:
$$ \cos \theta_k := \frac{-\nabla f_k^T p_k}{||\nabla f_k || \cdot ||p_k||} \geq \frac{1}{M}. $$
我自己尝试了两种推导路径:Cholesky分解$B_k =L L^T$,以及利用不等式$||x|| \leq ||B_k^{-1}||\cdot ||B_k x||$,但都没能成功推出这个结论。按道理这应该是个简洁的推导,但我就是卡壳找不到突破口,恳请各位大佬指点一二!
内容的提问来源于stack exchange,提问作者Alain
相关产品推荐
相关产品推荐

