求概率分布为Pr[X=i]=2⁻ⁱ的正整数随机变量X的熵H(X)

没问题，我来一步步帮你推导并计算这个随机变量的熵：

首先，先明确离散随机变量熵的核心定义（以2为底，单位为比特）：

H(X) = -Σ Pr[X = x_i] log₂(Pr[X = x_i])
其中求和范围覆盖X的所有可能取值。

步骤1：代入概率分布到熵公式 #

已知对于任意正整数i，Pr[X=i] = $2^{-i}$，把这个代入熵的公式拆解每一项：

- Pr[X=i] * log₂(Pr[X=i]) = -2^{-i} * log₂(2^{-i})

因为对数的性质 log₂(2^k) = k，这里log₂(2^{-i}) = -i，代入后化简得到：

-2^{-i} * (-i) = i * 2^{-i}

因此熵的解析表达式转化为一个无穷级数：

H(X) = Σ（i从1到∞）i * 2^{-i}

步骤2：计算无穷级数的和 #

我们需要计算级数 S = Σ_{i=1}^∞ i*(1/2)^i，用错位相减法推导最直观：

• 先写出S的展开式：S = 1*(1/2) + 2*(1/2)^2 + 3*(1/2)^3 + 4*(1/2)^4 + ...
• 两边乘以1/2：(1/2)S = 1*(1/2)^2 + 2*(1/2)^3 + 3*(1/2)^4 + ...
• 用第一个式子减去第二个式子：
  S - (1/2)S = (1/2) + [(1/2)^2 - (1/2)^2] + [(1/2)^3 - (1/2)^3] + ...
  右边只剩下首项开始的等比级数：(1/2)+(1/2)^2+(1/2)^3+...
• 这个等比级数的和为 (1/2)/(1-1/2) = 1（等比级数求和公式：Σ_{i=1}^∞ r^i = r/(1-r)，这里r=1/2）
• 因此得到：(1/2)S = 1 → S=2

最终结果 #

把级数的计算结果代入熵的表达式，最终得到：
H(X)=2比特

内容的提问来源于stack exchange，提问作者user531912