问题背景 #

给定二维离散随机变量$(X,Y)$的联合概率分布表：
$$
\begin{array}{c|lcr}
X \setminus Y & 0 & 1 \\
\hline
-1 & 0 & 1/3 \\
0 & 1/3 & 0 \\
1 & 0 & 1/3
\end{array}
$$

我已经解决了a)和b)，尝试解答c)时遇到了问题，同时对d)的结果推导有疑问，具体如下：

a) 判断X和Y是否独立？ #

我的解答：

No, because for example $P(X=1) = 1/3$, $P(Y=1) = 1/3 + 1/3 = 2/3$, but $P(X=1) \cdot P(Y=1) = 2/9 \neq P(X=1, Y=1) = 1/3$. Is this correct ?

解答： 你的判断完全正确！判断离散随机变量独立性的核心标准是：对所有可能的取值组合$(x_i,y_j)$，都必须满足$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$。你找到的反例已经明确违反了这个条件，所以X和Y不独立。

b) 求X和Y的期望 #

我的解答：

The expectation value is $E[X] = x_1p_1 + ... x_np_n$. So we have $E[X] = -1 \cdot 1/3 + 0 \cdot 1/3 + 1 \cdot 1/3 = 0$, $E[Y] = 0 \cdot 1/3 + 1 \cdot 2/3 = 2/3$.
They give the solutions $E[X] = 0, E[Y] = 2/3$, but not how they got them. Is the method I used correct or is this a coincidence ?

解答： 你的计算方法完全正确，绝不是巧合！离散随机变量的期望计算逻辑就是：每个取值乘以对应的边缘概率，再求和。

• X的边缘概率：$P(X=-1)=1/3$，$P(X=0)=1/3$，$P(X=1)=1/3$，所以$E[X] = (-1)\times\frac{1}{3} + 0\times\frac{1}{3} + 1\times\frac{1}{3} = 0$
• Y的边缘概率：$P(Y=0)=1/3$，$P(Y=1)=2/3$，所以$E[Y] = 0\times\frac{1}{3} + 1\times\frac{2}{3} = \frac{2}{3}$
  和参考答案完全一致，你的思路没问题。

c) 求X和Y的方差 #

我的疑问：

Now here, I don't understand because as far as I know the formula for variance is ∑$(x_i - µ)^2 / N$ where µ is the average value, $N$ the size of the sample, and $x_i$ are the values of $X$.
They give as solutions Var($X$) $= 2/3$, Var($Y$) $= 2/9$
For $X$, I get µ $= (-1 + 0 + 1) / 3 = 0$, so Var($X$) $= ( (-1 - 0)^2 + (0 - 0)^2 + (1 - 0)^2 ) / 3 = 1/3 + 1/3 = 2/3$
But for $Y$, I get µ $= (0 + 1) / 2 = 1/2$, so Var($Y$) $= ( (0 - 1/2)^2 + (1 - 1/2)^2 ) / 2 = (1/4 + 1/4) / 2 = 1/4 \neq 2/9$
What did I do wrong ? Or is my formula for variance wrong ?

解答： 你混淆了样本方差和随机变量的方差公式！

• 你用的$\sum(x_i-\mu)^2/N$是针对已知样本数据的样本方差，但这里我们要计算的是随机变量的方差，正确公式是：
  $$\text{Var}(Z) = E[(Z-E[Z])^2] = \sum_{z}(z-E[Z])^2 P(Z=z)$$
  也就是每个取值与期望差的平方，乘以该取值的概率再求和，不是除以样本数量！

重新计算Y的方差：

• 已知$E[Y]=\frac{2}{3}$，Y的边缘概率是$P(Y=0)=\frac{1}{3}$，$P(Y=1)=\frac{2}{3}$
• 代入公式：
  $$\text{Var}(Y) = (0-\frac{2}{3})^2 \times \frac{1}{3} + (1-\frac{2}{3})^2 \times \frac{2}{3}$$
  $$= (\frac{4}{9})\times\frac{1}{3} + (\frac{1}{9})\times\frac{2}{3} = \frac{4}{27} + \frac{2}{27} = \frac{6}{27} = \frac{2}{9}$$
  这样就和参考答案一致了。你之前计算X的方差时，刚好X的每个取值概率都是$\frac{1}{3}$，所以除以3和乘以$\frac{1}{3}$结果一样，算是巧合，但正确做法应该用概率加权求和，而非除以样本数。

d) 求Cov(X,Y)和$\rho = \text{Corr}(X,Y)$ #

我的疑问：

Here, they give as solution Cov(X,Y) = Corr(X,Y) $= 0$, do you know how they got this result ?

解答： 我们一步步推导：

1. 首先回忆协方差的核心公式：
   $$\text{Cov}(X,Y) = E[XY] - E[X]E[Y]$$
2. 先计算$E[XY]$：遍历所有$(X,Y)$的取值组合，计算$x\times y$乘以对应的联合概率，再求和：
   • $X=-1,Y=0$：$(-1)\times0\times0=0$
   • $X=-1,Y=1$：$(-1)\times1\times\frac{1}{3}=-\frac{1}{3}$
   • $X=0,Y=0$：$0\times0\times\frac{1}{3}=0$
   • $X=0,Y=1$：$0\times1\times0=0$
   • $X=1,Y=0$：$1\times0\times0=0$
   • $X=1,Y=1$：$1\times1\times\frac{1}{3}=\frac{1}{3}$
     把这些结果相加：$0 - \frac{1}{3} + 0 + 0 + 0 + \frac{1}{3} = 0$
3. 已知$E[X]=0$，$E[Y]=\frac{2}{3}$，所以$E[X]E[Y]=0\times\frac{2}{3}=0$
4. 代入协方差公式：$\text{Cov}(X,Y)=0 - 0 = 0$

接下来计算相关系数$\rho$：
相关系数公式是：
$$\rho = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}}$$
因为$\text{Cov}(X,Y)=0$，分母$\sqrt{\frac{2}{3}\times\frac{2}{9}}=\sqrt{\frac{4}{27}}=\frac{2}{3\sqrt{3}}\neq0$，所以$\rho=0$。

补充说明：虽然X和Y不独立，但它们的相关系数为0，说明二者是不相关的——不独立和不相关是两个不同的概念，不独立的变量也可能不相关。

备注：内容来源于stack exchange，提问作者wengen