共线梯度与极值的证明：约束极值梯度共线推导

嘿，这是针对带等式约束的极值问题里拉格朗日乘数法的完整证明，我把它整理成清晰易读的Markdown格式了：

定理内容 #

设$A \subset \mathbb{R}^{n$（注：原文写的是$\mathbb{R}$，结合梯度的多元函数属性，这里修正为$\mathbb{R}}n$）为开集，$f,g: A \rightarrow \mathbb{R}$为$C^1$类（一阶连续可微）函数。若满足以下条件：

• $x_0 \in A$，且$g(x_0) = 0$
• 记约束曲面$S = g^{-1}{0}$（即所有满足$g(x)=0$的点构成的集合），且$\nabla g(x_0) \neq 0$（梯度不为零，保证约束曲面在$x_0$处光滑）
• 函数$f$在约束曲面$S$上的限制$f\lvert_{S}$在点$x_0$处取得最大值或最小值

则存在实数$\lambda$（拉格朗日乘数），使得：
$$\nabla f(x_0) = \lambda \nabla g(x_0)$$

详细证明 #

我们从约束曲面上的光滑路径切入推导：

• 任取一条过$x_0$的光滑路径$c$，满足$c(0) = x_0$，且路径完全落在约束曲面$S$上（即$x_0$邻域内的所有$t$都满足$g(c(t)) = 0$）。
• 对等式$g(c(t)) = 0$两边关于$t$求导，根据多元函数链式法则可得：
  $$\frac{d}{dt}g(c(t)) = 0 \implies Dg(c(t)) \cdot c'(t) = 0$$
  （注：$Dg$是$g$的雅可比矩阵，对于从$\mathbb{R}^n$到$\mathbb{R}$的函数，雅可比矩阵就是梯度$\nabla g$的转置，因此上式等价于$\nabla g(c(t)) \cdot c'(t) = 0$）
• 代入$t=0$，得到：
  $$\nabla g(x_0) \cdot c'(0) = 0$$
  这说明所有落在$S$上且过$x_0$的路径在$x_0$处的切向量$c'(0)$，都与$\nabla g(x_0)$正交，这些切向量张成$\nabla g(x_0)$的正交补空间。

接下来分析目标函数$f$的极值条件：
因为$f\lvert_{S}$在$x_0$处取极值，那么对所有上述落在$S$上的路径$c$，复合函数$f(c(t))$必然在$t=0$处取极值。根据一元函数极值的必要条件，它在$t=0$处的导数为0：
$$\frac{d}{dt}f(c(t))\bigg|_{t=0} = 0$$
同样用链式法则展开，得到：
$$\nabla f(x_0) \cdot c'(0) = 0$$
这说明$\nabla f(x_0)$也与所有上述切向量$c'(0)$正交。

由于$\nabla g(x_0) \neq 0$，它的正交补空间是$\mathbb{R}^{n$中的$n-1$维子空间。根据线性代数结论：**$\mathbb{R}}n$中与某个$n-1$维子空间正交的向量必然共线**，因此存在实数$\lambda$，使得：
$$\nabla f(x_0) = \lambda \nabla g(x_0)$$

内容的提问来源于stack exchange，提问作者Collapse