关于Rényi熵随参数α的连续性问题问询

你好，针对你提出的关于Rényi熵作为α的函数是否连续的问题，我来详细拆解分析：

首先先明确你给出的Rényi熵定义：

阶为$\alpha$（$\alpha>0$且$\alpha≠1$）的Rényi熵定义为：
$$\mathrm{H}\alpha(X)=\frac{1}{1-\alpha} \log \left(\sum{i=1}^n p_i^\alpha\right)$$
其中$X$是离散随机变量，取值集合为$\mathcal{A}=\left{x_1, x_2, \ldots, x_n\right}$，对应概率$p_i = \operatorname{Pr}(X=x_i)$。

接下来分两种情况讨论：

1. 所有$p_i \neq 0$的情况 #

你的判断完全正确！当所有概率$p_i$都为正时：

• 每个$p_i^\alpha$都是关于$\alpha$的连续函数（正实数的幂函数在$\alpha>0$的范围内都是连续的）；
• 有限个连续函数的和仍然保持连续性，因此$\sum_{i=1}^n p_i^\alpha$是$\alpha$的连续函数；
• 对数函数在其正实数定义域内连续，这里求和结果显然为正，满足条件；
• 系数$\frac{1}{1-\alpha}$在$\alpha≠1$时也是连续函数；
• 连续函数的复合、乘积操作都不会破坏连续性，因此$\mathrm{H}_\alpha(X)$在$\alpha>0$且$\alpha≠1$的定义域上是连续函数。

2. 存在$p_i=0$的情况 #

这种情况其实并不会影响连续性，原因很直观：
对于任意$\alpha>0$，$0^{\alpha=0$（这里$\alpha>0$，不存在$0}0$的歧义问题），所以那些概率为0的项在求和$\sum_{i=1}^n p_i^\alpha$中完全没有贡献——求和结果等价于只对所有$p_i>0$的项进行求和。

而只考虑正概率项的话，就回到了第一种情况：这些正概率项的幂函数和是连续的，后续的对数、系数乘法操作也都保持连续性。因此即使存在零概率的取值，$\mathrm{H}_\alpha(X)$在$\alpha>0$且$\alpha≠1$的定义域内仍然是连续函数。

额外补充一点：如果我们把$\alpha=1$的点补充定义为香农熵（这也是Rényi熵在$\alpha→1$时的极限值），那么整个函数在$\alpha>0$的完整区间上都是连续的，但这已经超出了你给出的原始定义范围啦。

备注：内容来源于stack exchange，提问作者Mark