验证单一概率分布下Jensen不等式成立，能否证明函数凸性？

首先明确核心关系：一个定义在凸集上的函数是凸函数，当且仅当对任意概率分布，Jensen不等式 $f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$ 成立（这里$f(x)=x\log x$的定义域是$x>0$，属于凸集）。接下来针对你的两个疑问逐一说明：

1. 用任意均匀分布验证后推广到所有情况的逻辑是否正确？ #

这个思路的合理性要看你说的“任意均匀分布”具体指什么：

• 如果你能证明对任意有限个点的均匀分布（也就是任意$n$个点$x_1,x_2,...,x_n>0$，都有$f\left(\frac{1}{n}\sum_{i=1}^n x_i\right) \leq \frac{1}{n}\sum_{i=1}^n f(x_i)$），那么对于$f(x)=x\log x$这种连续函数来说，这个结论可以等价于凸函数的定义。因为连续的中点凸函数（满足两点均匀分布的情况）可以推广到任意凸组合，进而推广到所有概率分布。
• 但如果你只是验证了某一个特定的均匀分布（比如固定$n=2$，或者固定某一组点），那这个逻辑就不成立——毕竟凸函数要求的是对所有可能的凸组合都满足不等式，单个或部分均匀分布的情况无法覆盖所有可能性。

2. 仅通过一个示例概率分布验证，是否足以证明函数是凸函数？ #

绝对不行。举个反例：

• 考虑凹函数$f(x)=-x^{2$，如果我们取单点概率分布（即$X$恒等于某个常数$c$），那么$f(\mathbb{E}[X])=f(c)=-c}2$，$\mathbb{E}[f(X)]=-c^2$，此时Jensen不等式的等式成立，但$f(x)$显然不是凸函数。
• 再比如一个非凸非凹的分段函数，可能恰好在某个特定分布下满足$f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]$，但在其他分布下不满足。

所以单个示例分布的验证完全无法支撑“函数是凸函数”的结论，必须覆盖所有可能的概率分布（或者至少覆盖所有凸组合，再利用连续性推广）。

补充：用Jensen不等式框架证明$f(x)=x\log x$是凸函数的正确方式 #

其实可以直接从凸组合的定义入手（这是Jensen不等式在有限支撑分布下的特例）：
对任意$\lambda\in[0,1]$，$x_1,x_2>0$，我们需要证明：
$$f(\lambda x_1 + (1-\lambda)x_2) \leq \lambda f(x_1) + (1-\lambda)f(x_2)$$

展开两边并整理，右边减左边可得：
$$\lambda x_1 \log\left(\frac{x_1}{\lambda x_1 + (1-\lambda)x_2}\right) + (1-\lambda)x_2 \log\left(\frac{x_2}{\lambda x_1 + (1-\lambda)x_2}\right)$$

令$z_1 = \frac{x_1}{\lambda x_1 + (1-\lambda)x_2}$，$z_2 = \frac{x_2}{\lambda x_1 + (1-\lambda)x_2}$，则$\lambda x_1 = (\lambda x_1 + (1-\lambda)x_2) \cdot \lambda z_1$，$(1-\lambda)x_2 = (\lambda x_1 + (1-\lambda)x_2) \cdot (1-\lambda)z_2$，且$\lambda z_1 + (1-\lambda)z_2 = 1$。代入后式子变为：
$$(\lambda x_1 + (1-\lambda)x_2) \cdot \left( \lambda z_1 \log z_1 + (1-\lambda)z_2 \log z_2 \right)$$

利用不等式$\log t \geq 1 - \frac{1}{t}$（当$t>0$时成立，等号仅在$t=1$时取到），对$\lambda z_1 \log z_1 + (1-\lambda)z_2 \log z_2$进行放缩：
$$\lambda z_1 \log z_1 + (1-\lambda)z_2 \log z_2 \geq \lambda z_1\left(1 - \frac{1}{z_1}\right) + (1-\lambda)z_2\left(1 - \frac{1}{z_2}\right) = \lambda z_1 - \lambda + (1-\lambda)z_2 - (1-\lambda) = (\lambda z_1 + (1-\lambda)z_2) - 1 = 0$$

因为$\lambda x_1 + (1-\lambda)x_2>0$，所以整个式子非负，即右边减左边$\geq0$，原不等式成立。由此可证$f(x)=x\log x$是凸函数。

内容的提问来源于stack exchange，提问作者Campbell