如何比较插补数据与原始数据的相关矩阵并检验差异？

一、相似度衡量方法 #

1. 矩阵整体层面 #

• 均方误差（MSE）：计算两个矩阵对应元素差值的平方的平均值，数值越小代表整体相似度越高。公式为：MSE = (1/n²)Σ(R_ij - R'_ij)²，其中R为原始相关矩阵，R'为插补后的相关矩阵，n为变量总数。
• Frobenius范数：计算两个矩阵差值的Frobenius范数（所有元素平方和的平方根），范数越小说明矩阵间的整体差异越小。
• 余弦相似度：将两个相关矩阵按行或列拉平为向量后，计算向量间的余弦值，取值范围为[-1,1]，越接近1表示矩阵整体结构越相似。

2. 单个相关系数层面 #

• 对应系数的Pearson相关：把原始矩阵和插补矩阵的所有对应相关系数分别作为两组数据，计算这两组数据的Pearson相关系数，衡量单个系数的整体一致性。
• Bland-Altman可视化：绘制每个对应相关系数的差值与平均值的散点图，直观展示系数差异的分布范围、偏差趋势，判断一致性水平。

二、差异的显著性检验 #

1. 矩阵整体差异检验 #

• Box's M检验：该检验用于比较两个（或多个）协方差矩阵的齐性，由于相关矩阵是标准化后的协方差矩阵，可直接套用。若检验结果显著，则说明原始与插补后的相关矩阵存在整体差异。需注意，该检验对数据正态性假设较为敏感。
• 置换检验（Permutation Test）：非参数检验方法，无需依赖分布假设。将原始和插补矩阵的所有元素混合后，随机分配为两组，计算如MSE、Frobenius范数这类统计量，重复数千次得到零分布，再将实际统计量与零分布对比，判断差异是否显著。

2. 单个相关系数的差异检验 #

• Fisher z变换+z检验：先将每个相关系数r转换为z分数：z = 0.5 * ln((1+r)/(1-r))，再对原始与插补矩阵对应位置的z分数进行z检验，公式为：z = (z1 - z2) / sqrt(1/(n1-3) + 1/(n2-3))，其中n1、n2分别为原始数据和插补数据的样本量。注意，多次检验需进行多重比较校正（如Bonferroni校正、FDR校正），避免假阳性。

内容的提问来源于stack exchange，提问作者wooden05