已知E(X)=0、A为幂等对称矩阵,咨询矩阵X的X^TAX期望求解方法
好问题!当$X$是矩阵而非向量时,确实不能直接套用向量场景下的迹转换技巧——毕竟此时$X^TAX$本身是一个矩阵,而非标量,我们需要从矩阵期望的定义出发,结合线性代数性质来推导。
前提回顾
先明确符号定义:
- 设$X$是$n \times p$的随机矩阵,且$E(X)=0$(题目已给定);
- $A$是$n \times n$的幂等对称矩阵,即满足$A2=A$且$AT=A$。
核心思路:从元素展开入手
矩阵的期望是逐元素计算的,即$E(X^TAX)$是一个$p \times p$的矩阵,它的第$(i,j)$个元素等于$E\left( (X^TAX){i,j} \right)$。我们先展开这个元素:
$$
(X^TAX){i,j} = \sum_{k=1}^n \sum_{l=1}^n X_{k,i} A_{k,l} X_{l,j}
$$
利用期望的线性性,把期望代入求和式:
$$
E\left( (X^TAX){i,j} \right) = \sum{k=1}^n \sum_{l=1}^n A_{k,l} \cdot E\left(X_{k,i}X_{l,j}\right)
$$
转化为迹的形式(更简洁的表达)
注意到$\sum_{k,l} A_{k,l} B_{k,l} = \text{Tr}(ATB)$,而$A$是对称矩阵($AT=A$),所以上式可以改写为迹的形式:
$$
E\left( (X^TAX){i,j} \right) = \text{Tr}\left( A \cdot E\left(X{:,i}X_{:,j}^T\right) \right)
$$
这里$X_{:,i}$表示$X$的第$i$列,$X_{:,j}T$表示$X$的第$j$行。这个式子其实是向量场景的推广:当$p=1$时,$X$是向量,此时$(i,j)$只有$(1,1)$,式子就退化为你熟悉的$E(XTAX) = \text{Tr}\left(A E(XX^T)\right)$。
特殊场景的简化
如果$X$的各列之间相互独立,那么当$i \neq j$时,$E\left(X_{:,i}X_{:,j}^T\right) = E(X_{:,i})E(X_{:,j}^T) = 0$(因为$E(X)=0$),此时$E(X^TAX)$会是一个对角矩阵,对角线元素为$\text{Tr}\left( A \cdot E\left(X_{:,i}X_{:,i}^T\right) \right)$,每一项对应$X$某一列的向量二次型期望。
用向量化与克罗内克积的整体表达
如果你偏好整体的矩阵形式,可以利用vec算子(把矩阵按列堆叠成向量)和克罗内克积的性质:
根据$\text{vec}(BXC) = (C^T \otimes B)\text{vec}(X)$,对$X^TAX$应用该性质可得:
$$
\text{vec}(X^TAX) = (X^T \otimes X^T)\text{vec}(A)
$$
两边取期望后:
$$
\text{vec}\left(E(X^TAX)\right) = E\left( (X^T \otimes X^T)\text{vec}(A) \right) = E(X^T \otimes X^T) \cdot \text{vec}(A)
$$
不过这种形式更多用于理论推导,实际计算中元素展开的方式往往更直观。
内容的提问来源于stack exchange,提问作者Ari.stat

