利用条件概率求解通信信道输入输出问题的技术问询

嘿，我来一步步帮你拆解这个通信信道的概率问题，分两部分来解答：

(a) 计算$k=±1$时的$P(X=k,Y≤y)$ #

首先，题目里明确输入$X$取$±1$的概率相等，也就是$P(X=1)=P(X=-1)=\frac{1}{2}$，而且$X$和噪声$N$相互独立，输出$Y=X+N$。我们可以用条件概率的乘法公式来推导联合概率：

$$P(X=k,Y≤y) = P(X=k) \cdot P(Y≤y \mid X=k)$$

当$X=k$时，$Y=k+N$，所以$Y≤y$等价于$N ≤ y - k$。代入$P(X=k)=\frac{1}{2}$，就得到：

$$P(X=k,Y≤y) = \frac{1}{2} \cdot P(N ≤ y - k)$$

接下来需要计算噪声$N$的累积分布函数$F_N(t)=P(N ≤ t)$，已知$N$的概率密度函数$f_N(z)=\frac{1}{2}e^{-|z|}$，我们分两种情况积分：

1. 当$t ≤ 0$时：
   $$F_N(t) = \int_{-\infty}^t \frac{1}{2}e^{z} dz = \frac{1}{2}e^t$$

2. 当$t > 0$时：
   $$F_N(t) = \int_{-\infty}^0 \frac{1}{2}e^z dz + \int_{0}^t \frac{1}{2}e^{-z} dz = \frac{1}{2} + \frac{1}{2}(1 - e^{-t}) = 1 - \frac{1}{2}e^{-t}$$

现在把$t=y-k$代入，分别计算$k=1$和$k=-1$的情况：

• 当$k=1$时：

  • 若$y ≤ 1$（即$y-1 ≤ 0$）：
    $$P(X=1,Y≤y) = \frac{1}{2} \cdot \frac{1}{2}e^{y-1} = \frac{1}{4}e^{y-1}$$
  • 若$y > 1$（即$y-1 > 0$）：
    $$P(X=1,Y≤y) = \frac{1}{2} \cdot \left(1 - \frac{1}{2}e^{-(y-1)}\right) = \frac{1}{2} - \frac{1}{4}e^{-(y-1)}$$

• 当$k=-1$时：

  • 若$y ≤ -1$（即$y+1 ≤ 0$）：
    $$P(X=-1,Y≤y) = \frac{1}{2} \cdot \frac{1}{2}e^{y+1} = \frac{1}{4}e^{y+1}$$
  • 若$y > -1$（即$y+1 > 0$）：
    $$P(X=-1,Y≤y) = \frac{1}{2} \cdot \left(1 - \frac{1}{2}e^{-(y+1)}\right) = \frac{1}{2} - \frac{1}{4}e^{-(y+1)}$$

(b) 观测到$Y<0$时的决策策略 #

这是个典型的最大后验概率（MAP）决策问题：我们需要比较在$Y<0$的条件下，输入$X=1$和$X=-1$的后验概率，选概率更大的那个作为决策结果。

根据贝叶斯公式：
$$P(X=k \mid Y<0) = \frac{P(Y<0 \mid X=k) \cdot P(X=k)}{P(Y<0)}$$

因为$P(X=1)=P(X=-1)=\frac{1}{2}$，而且分母$P(Y<0)$对两个后验概率是相同的，所以我们只需要比较分子$P(Y<0 \mid X=k)$的大小就行。

分别计算这两个条件概率：

• 对于$X=1$：$Y=1+N<0$等价于$N < -1$，所以
  $$P(Y<0 \mid X=1) = P(N < -1) = \int_{-\infty}^{-1} \frac{1}{2}e^{z} dz = \frac{1}{2}e^{-1} \approx 0.1839$$

• 对于$X=-1$：$Y=-1+N<0$等价于$N < 1$，所以
  $$P(Y<0 \mid X=-1) = P(N < 1) = 1 - P(N ≥ 1) = 1 - \int_{1}^{\infty} \frac{1}{2}e^{-z} dz = 1 - \frac{1}{2}e^{-1} \approx 0.8161$$

显然$P(Y<0 \mid X=-1) > P(Y<0 \mid X=1)$，对应的后验概率$P(X=-1 \mid Y<0) > P(X=1 \mid Y<0)$。

所以结论是：当观测到输出$Y$为负值时，应该决策输入为$\boldsymbol{-1}$。

内容的提问来源于stack exchange，提问作者alienboy