随机游走主成分正弦特性的直观理解及独立轨迹协方差成因问询

一、随机游走主成分的正弦特性：特征值越小，频率越高的直观理解 #

随机游走本质上是累积的随机噪声，可以看作是无数不同频率的波动叠加而成。主成分分析（PCA）的核心目标是找出能解释数据最大方差的线性组合，而这里的方差就对应着轨迹“波动幅度”的大小：

• 低频正弦成分：这类成分变化节奏慢，每一步的方向会持续较长时间。当你把这些慢波动累积起来时，位移会不断向单一方向延伸，最终形成的轨迹波动幅度大、方差高，对应的主成分特征值也就大——因为它捕捉到了随机游走中最核心的“大尺度”变化。
• 高频正弦成分：这类成分方向切换频繁，一会儿向上一会儿向下，累积过程中正负值会相互抵消，最终的位移幅度很小、方差低，对应的特征值自然就小。

PCA是按特征值从大到小排序主成分的，所以特征值越小，对应的主成分频率就越高。你可以把它类比成：随机游走的“主旋律”是慢节奏的大波动，而高频的快波动只是叠加在上面的“细碎杂音”，PCA会把这些杂音排在解释力靠后的位置。

二、为何两条独立均值为零的随机游走轨迹会出现协方差/相关性？ #

先明确统计理论结论：两条独立的均值为零的随机游走，它们的互协方差在理论上应该是零。

我们可以拆解一下：假设随机游走$X_t = \varepsilon_1 + \varepsilon_2 + \dots + \varepsilon_t$，$Y_t = \eta_1 + \eta_2 + \dots + \eta_t$，其中$\varepsilon$和$\eta$是独立的均值为零的随机变量。那么两者的协方差：
$$\text{Cov}(X_t, Y_t) = \sum_{i=1}^t \sum_{j=1}^t \text{Cov}(\varepsilon_i, \eta_j)$$
由于$\varepsilon$和$\eta$完全独立，所有$\text{Cov}(\varepsilon_i, \eta_j) = 0$，因此整体协方差为零。

那你观察到的协方差或相关性，大概率是有限样本的随机性导致的：

• 即使两个过程完全独立，在有限的样本轨迹中，也可能偶然出现两条走势看似相似的情况（比如同时连续向上走几步），计算样本协方差时就会得到非零值，但这只是随机波动，并非真正的统计相关性。
• 另外，容易混淆随机游走的自相关性和互相关性：随机游走本身是高度自相关的（当前位置和前序位置强相关），但两条独立的随机游走之间并没有这种跨轨迹的相关性。

内容的提问来源于stack exchange，提问作者McLawrence