多维度内积非负性解释及凸闭集投影不等式证明问询

首先明确背景：给定$C\subset\mathbb R^n$是凸闭集，$f(a)=\underset{x\in C}{\text{argmin}}|x-a|^2$是点$a$到$C$的投影映射（因为凸闭集上的投影唯一，所以这个映射是良定义的）。我们要证明的是这个投影映射满足$\langle f(x)-f(y),y-f(y)\rangle\le 0$。

严谨证明：利用投影的一阶最优性条件 #

凸闭集投影的核心性质是一阶最优性条件：对于任意点$a\in\mathbb R^n$，以及它的投影$f(a)\in C$，对所有$z\in C$都有：
$$\langle a - f(a), z - f(a)\rangle \le 0$$
这个条件的本质是：从投影点$f(a)$指向原点点$a$的向量，和从$f(a)$指向$C$内任意点的向量夹角不小于90度——这保证了$f(a)$是$C$中离$a$最近的点。

现在用这个条件推导我们要的结论：

• 取$z = f(x)$（显然$f(x)\in C$，满足条件），代入针对点$y$的最优性条件：
  $$\langle y - f(y), f(x) - f(y)\rangle \le 0$$
• 内积满足交换律：$\langle f(x)-f(y), y-f(y)\rangle = \langle y-f(y), f(x)-f(y)\rangle$
• 直接得到$\langle f(x)-f(y), y-f(y)\rangle\le 0$，证明完成。

$\mathbb R^2$中的直观解释 #

在二维平面里，这个结论的几何意义非常好理解：

• 点$y$到$C$的投影$f(y)$，意味着过$f(y)$且垂直于$y-f(y)$的直线是$C$的一个支撑直线——$C$中所有点都在这条直线的一侧，也就是和$y-f(y)$方向相反的那一侧。
• 而$f(x)$是$x$在$C$上的投影，自然也在$C$里，所以从$f(y)$指向$f(x)$的向量$f(x)-f(y)$，和从$f(y)$指向$y$的向量$y-f(y)$的夹角必然是钝角或直角，它们的内积也就小于等于0。

换个反证的角度看就更清楚了：

假设$\langle f(x)-f(y), y-f(y)\rangle > 0$，也就是这两个向量的夹角小于90度。那我们在线段$f(y)f(x)$上取一点$z = f(y) + t(f(x)-f(y))$（$t\in(0,1)$），因为$C$是凸集，$z$肯定属于$C$。
展开计算$|z - y|^{2$会发现，它比$|f(y)-y|}2$更小——这就和$f(y)$是$y$到$C$的最近点矛盾了，因为我们找到了一个$C$内的点$z$离$y$更近。所以原假设不成立，不等式必须成立。

内容的提问来源于stack exchange，提问作者manofbear