Nocedal&Wright优化教材中o(||p||)结论的连续性应用问询

先把书中的核心结论放出来：

该结论出自Nocedal与Wright所著《优化》第2版第23页：设$f$属于$C^2$，则存在$t \in (0,1)$，使得
$$\nabla f(x+p) = \nabla f(x) + \int\limits_0^1 \nabla^2 f(x+ tp)pdt$$
等价于
$$\nabla f(x+p) = \nabla f(x) + \nabla^2f(x)p + \int\limits_0^1 (\nabla^2 f(x+ tp) - \nabla^2 f(x))pdt$$
随后有结论：因$\nabla f(\cdot)$连续，故$\int\limits_0^1 (\nabla^2 f(x+ tp) - \nabla^2 f(x))pdt = o(|p|)$（注：书中定义若$\eta(\cdot):\mathbb{R} \to \mathbb{R}$，$\eta(\nu) = o(\nu)$指$\eta(\nu)/\nu \to 0$当$\nu \to 0$或$\nu \to \infty$）。

我的疑问 #

我明白向量值函数连续就是各分量连续，但怎么也推不出这个$o(|p|)$的结论，想搞清楚连续性在这里到底是怎么起作用的？

解答 #

首先纠正一个小笔误：原文里$f\in C^{2$，对应的应该是**Hessian矩阵$\nabla}2 f$连续**，而不是$\nabla f$连续——毕竟一阶连续可微是$C^{1$，二阶连续可微才是$C}2$，这里的连续性指的是二阶偏导（也就是Hessian的每个元素）连续。接下来我一步步拆解这个推导里连续性的核心作用：

1. 先明确我们要证什么
   要证明$\int_0^1 (\nabla^2 f(x+tp) - \nabla^2 f(x))pdt = o(|p|)$，根据定义，就是要证：
   $$\lim_{|p| \to 0} \frac{\left| \int_0^1 (\nabla^2 f(x+tp) - \nabla^2 f(x))pdt \right|}{|p|} = 0$$

2. 连续性带来的关键：局部一致估计
   因为$\nabla^2 f$在点$x$处连续，根据连续的定义：对于任意给定的$\epsilon > 0$，总能找到一个$\delta > 0$，只要向量$h$满足$|h| < \delta$，就有$\left| \nabla^2 f(x+h) - \nabla^2 f(x) \right| < \epsilon$（这里的范数可以是矩阵的Frobenius范数或者算子范数，它们和向量范数是相容的，简单说就是$|Aq| \leq |A| |q|$对矩阵$A$和向量$q$成立）。

   当$|p| < \delta$时，对于所有$t\in[0,1]$，$|tp| = t|p| \leq |p| < \delta$，所以对于每个$t\in[0,1]$，都有$\left| \nabla^2 f(x+tp) - \nabla^2 f(x) \right| < \epsilon$——这就是连续性带来的局部一致估计，整个积分区间里的Hessian差值的范数都能被$\epsilon$控制住。

3. 对积分做范数放缩
   利用积分的三角不等式（积分的范数小于等于范数的积分），我们可以把积分的范数放缩：
   $$\left| \int_0^1 (\nabla^2 f(x+tp) - \nabla^2 f(x))pdt \right| \leq \int_0^1 \left| \nabla^2 f(x+tp) - \nabla^2 f(x) \right| \cdot |p| dt$$
   把刚才的$\left| \nabla^2 f(x+tp) - \nabla^2 f(x) \right| < \epsilon$代入进去，这个积分就变成：
   $$\leq \int_0^1 \epsilon \cdot |p| dt = \epsilon \cdot |p| \cdot \int_0^1 dt = \epsilon |p|$$

4. 凑出$o(|p|)$的定义
   把上面的不等式两边都除以$|p|$（$|p| \neq 0$），就得到：
   $$\frac{\left| \int_0^1 (\nabla^2 f(x+tp) - \nabla^2 f(x))pdt \right|}{|p|} < \epsilon$$
   这正好符合$o(|p|)$的定义：不管你想要多小的$\epsilon$，只要$|p|$足够小（小于我们找到的$\delta$），这个比值就会小于$\epsilon$，也就是说当$|p| \to 0$时，这个比值趋近于0。

5. 关于分量连续的补充
   你提到的“向量值函数连续即各分量连续”完全正确，矩阵值函数$\nabla^2 f$的连续性就是等价于它的每个元素（也就是$f$的二阶偏导数）都是连续函数。我们上面用到的矩阵范数的连续性，本质上是由各分量的连续性保证的——比如Frobenius范数是各元素平方和开根号，自然由各元素连续推出矩阵范数连续；算子范数也可以通过各元素的有界性和连续性来保证。所以分量连续是整个矩阵连续的基础，没有这个基础，我们就没法得到上面的局部一致估计。

内容的提问来源于stack exchange，提问作者Norman