You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

梯度的泰勒展开:大O符号的使用及相关正确性、定义问题

梯度的泰勒展开:大O符号的使用及相关正确性、定义问题

嘿,咱们一步步拆解你的问题哈~

首先说核心的展开式正确性:**你写的这个梯度泰勒展开式是对的,但有个关键前提——函数$f$得是二阶连续可微(也就是属于$C2$类函数)**。你题目里只提到$f$是连续可微($C1$),但要写出包含Hessian矩阵$\nabla^2 f$的展开式,必须保证$f$的二阶偏导数存在且连续,这样才能用多元泰勒定理推导梯度的展开。

然后聊范数的问题:在有限维空间$\mathbb{R}n$里,**所有范数都是等价的**——意思是不管你用欧几里得范数$|\cdot|_2$、无穷范数$|\cdot|_\infty$还是1-范数$|\cdot|_1$,大$O$符号的本质含义不会变。举个例子,假设用$|\cdot|_2$时余项满足条件,换成$|\cdot|_\infty$的话,只需要调整常数$M$的大小就行,因为不同范数之间存在固定的倍数关系(比如对$\mathbb{R}n$里的任意向量$v$,有$|v|_\infty \leq |v|2 \leq \sqrt{n}|v|\infty$),完全不影响大$O$的结论。

接下来是你最困惑的向量形式大$O$符号:
当$n>1$时,向量值的$O\left(|x-x_0|^2\right)$定义是:存在正数$M$和小正数$\delta$,当$|x-x_0| < \delta$时,这个余项向量的范数满足$\left|O\left(|x-x_0|^2\right)\right| \leq M|x-x_0|^2$。

那它和元素-wise的定义等价吗?当然等价:

  • 如果向量的范数被$M|x-x_0|2$控制,那它的每个分量的绝对值(比如用无穷范数衡量)肯定也不会超过这个范数,所以每个分量单独看都是$O\left(|x-x_0|2\right)$;
  • 反过来,如果每个分量$v_i$都满足$|v_i| \leq M_i|x-x_0|^2$(各自对应$M_i$和$\delta_i$),那我们只需要取$M = \max(M_1, M_2, ..., M_n)$,$\delta = \min(\delta_1, \delta_2, ..., \delta_n)$,这样所有分量就能共用同一个$M$和$\delta$,对应的向量范数(比如无穷范数)也会被$M|x-x_0|^2$控制。

所以不管是从向量整体的范数角度,还是拆成单个元素来看,都可以用统一的$M$和$\delta$,不用给每个分量单独找不同的常数。

最后补充下你编辑提到的修正后的展开式:当$f$是$C^2$类函数时,这个展开是严格成立的,推导逻辑其实就是把梯度的每个分量(也就是$f$的一阶偏导数)单独做一元泰勒展开,再把这些展开式组合成向量形式,就得到了你写的梯度泰勒展开式。

备注:内容来源于stack exchange,提问作者user_lambda

火山引擎 最新活动