凸函数局部极小值点相关不等式的证明问询
嘿,我看你已经搞定了凸函数在0点左右导数存在的证明,现在卡在局部极小值对应的那个不等式上,别慌,咱们一步步拆解清楚~
首先先回忆凸函数的核心性质:凸函数的差商是单调不减的,也就是对任意$a < b < c$,都有$\frac{F(b)-F(a)}{b-a} \leq \frac{F(c)-F(b)}{c-b}$,这个性质是咱们推导的关键!
另外,你提到F在0点取局部极小值,那存在一个$\varepsilon>0$,当$|x| < \varepsilon$时,$F(x) \geq F(0)$(这里纠正个小细节:局部极小值的定义是$F(x) \geq F(0)$,严格局部极小才是$F(x) > F(0)$,不过凸函数的局部极小其实就是全局极小,这点后面会用到)。
接下来咱们分x的正负情况来推导:
情况1:$x > 0$
先取任意$0 < t < 1$,考虑点$tx$和0,根据凸函数的差商单调性,有:
$$\frac{F(tx)-F(0)}{tx - 0} \leq \frac{F(x)-F(0)}{x - 0}$$
因为$0 < tx < \varepsilon$(只要$x < \varepsilon$),而F在0点是局部极小,所以$F(tx) \geq F(0)$,左边的差商自然是非负的。当$t \to 0+$时,左边的极限就是右导数$F'(0+)$,所以咱们能得到:
$$F'(0^+) \leq \frac{F(x)-F(0)}{x}$$
两边乘x(x>0,不等号方向不变),就有:
$$F(x)-F(0) \geq F'(0^+)x$$
现在看$\xi \in [F'(0^-), F'(0^+)]$,因为$\xi \leq F'(0^+)$且x>0,所以$\xi x \leq F'(0^+)x$,代入上面的式子就得到:
$$F(x)-F(0) \geq \xi x$$
情况2:$x < 0$
令$x = -y$(这里y>0),直接利用凸函数左差商的单调性:当$x \to 0^-$时,差商$\frac{F(x)-F(0)}{x - 0}$的极限是左导数$F'(0^-)$,且这个左差商是单调不减的。结合局部极小的条件$F(x) \geq F(0)$,x<0时$\frac{F(x)-F(0)}{x} \leq 0$,所以:
$$F'(0^-) \leq \frac{F(x)-F(0)}{x}$$
两边乘x(x<0,不等号方向反转),就得到:
$$F(x)-F(0) \geq F'(0^-)x$$
现在看$\xi \in [F'(0^-), F'(0^+)]$,因为$\xi \geq F'(0^-)$且x<0,所以$\xi x \leq F'(0^-)x$(负数乘更大的数结果更小),代入后就有:
$$F(x)-F(0) \geq \xi x$$
情况3:$x = 0$
这时候左边$F(0)-F(0)=0$,右边$\xi \cdot 0=0$,等号成立,显然满足不等式。
最后把三种情况合起来,不管x是正、负还是0,也不管$\xi$是$[F'(0^-), F'(0^+)]$里的哪个值,不等式$F(x)-F(0) \geq \xi x$都成立~
另外悄悄提一句:凸函数的局部极小值点其实就是全局极小值点,所以这个不等式对所有实数x都成立,不只是局部邻域里的x哦!
备注:内容来源于stack exchange,提问作者lee max




