关于随机变量二次型期望计算及论文中Hadamard积迹推导疑问的技术问询

Hey there! Let's work through your two key questions one by one—calculating the expectation of a quadratic form, and why the Hadamard product trace shows up instead of the regular matrix product trace in your paper's result.

1. 随机变量二次型$\mathbb{E}[x^T A x]$的计算方法 #

假设$x$是一个$n$维随机向量，均值为$\mu = \mathbb{E}[x]$，协方差矩阵为$\Sigma = \mathbb{E}[(x - \mu)(x - \mu)^T]$。我们可以把二次型展开成元素形式来推导期望：
$$
x^T A x = \sum_{i=1}^n \sum_{j=1}^n A_{ij} x_i x_j
$$
对两边取期望后，利用$\mathbb{E}[x_i x_j] = \Sigma_{ij} + \mu_i \mu_j$（协方差定义的变形），代入拆分求和可得：
$$
\begin{aligned}
\mathbb{E}[x^T A x] &= \sum_{i,j} A_{ij} \Sigma_{ij} + \sum_{i,j} A_{ij} \mu_i \mu_j \
&= \text{sum}(A \circ \Sigma) + \mu^T A \mu
\end{aligned}
$$
这里$\text{sum}(M)$表示矩阵$M$所有元素的和，$\circ$代表Hadamard积（元素-wise逐元素乘积）。如果$x$是零均值的（$\mu=0$），公式会简化成$\mathbb{E}[x^T A x] = \text{sum}(A \circ \Sigma)$。

2. 为什么结果里是$\text{Trace}(\mathcal{S} \circ \mathcal{P}^{{-1})$而不是$\text{Trace}(\mathcal{S}\mathcal{P}}{-1})$？ #

先回到你论文里的推导，我们一步步化简第三行的期望项：

• 对于$\mathbb{E}[\xi_i^T \mathcal{P}^{-1} \xi_i]$：因为$\xi_i \sim \mathcal{N}(y_i, \mathcal{S})$，用上面的二次型期望公式，它等于$\text{sum}(\mathcal{P}^{-1} \circ \mathcal{S}) + y_i^T \mathcal{P}^{-1} y_i$
• 第二项$-\mathbb{E}[y_i^T \mathcal{P}^{-1} y_i]$直接抵消掉第一项里的$y_i^T \mathcal{P}^{-1} y_i$（$y_i$是确定的观测值，无随机性）
• 第三项$2\mathbb{E}[(C\hat{x}{i|i-1})^T \mathcal{P}^{-1} y_i]$和第四项$-2\mathbb{E}[(C\hat{x}{i|i-1})^T \mathcal{P}^{-1} \xi_i]$：因为$\mathbb{E}[\xi_i] = y_i$，这两项完全抵消

最终每一个$i$对应的期望就剩下$\text{sum}(\mathcal{P}^{-1} \circ \mathcal{S})$，求和$s_k$个这样的项就得到$s_k \cdot \text{sum}(\mathcal{P}^{-1} \circ \mathcal{S})$。

论文里写成$\text{Trace}(\mathcal{S} \circ \mathcal{P}^{{-1})$的核心原因是：**$\mathcal{P}$是对角矩阵**（比如在卡尔曼滤波这类问题中，观测噪声协方差矩阵通常是对角的，它的逆矩阵自然也是对角的）。当$\mathcal{P}}{-1}$是对角矩阵时，它的非对角元素全为0，此时$\mathcal{P}^{-1} \circ \mathcal{S}$的非对角元素也都是0，矩阵所有元素的和就等于对角线元素的和——也就是迹$\text{Trace}(\mathcal{S} \circ \mathcal{P}^{-1})$。

至于为什么不是$\text{Trace}(\mathcal{S}\mathcal{P}^{-1})$：这个迹代表的是$\sum_i (\mathcal{S}\mathcal{P}^{-1}){ii} = \sum_i \sum_j \mathcal{S}{ij} (\mathcal{P}^{-1}){ji}$，这和$\sum{i,j} \mathcal{S}_{ij} (\mathcal{P}^{{-1})_{ij}$（Hadamard积的元素和）是完全不同的计算逻辑，只有当$\mathcal{P}}{-1}$是对角矩阵时，这两个结果才会相等（此时非对角项都为0）。

备注：内容来源于stack exchange，提问作者Sisyphus