SciPy pearsonr()函数的p值计算逻辑及小样本可靠性问询

我来帮你拆解这两个问题，都是SciPy里pearsonr()的核心细节，之前我也深挖过源码和官方文档的深层说明，给你理清楚：

首先，函数会先算出皮尔逊相关系数r，接下来基于这个r和样本量n计算t统计量，公式是：

t = r * sqrt((n - 2) / (1 - r²))

在原假设（即两个变量间无相关性，r=0）成立的前提下，这个t统计量服从自由度为n-2的t分布。

而p值是双侧检验的结果：计算t分布中，绝对值大于当前t值的概率总和——也就是P(|T| > |t|)，其中T是服从自由度n-2的t分布的随机变量。简单说就是看这个t值在t分布的尾部有多“极端”，这个极端程度对应的概率就是p值。

另外补充个细节：当样本量特别大（n趋近于无穷）时，t分布会趋近于标准正态分布，这时候函数会自动切换用正态分布计算p值，提升计算效率，但核心逻辑还是围绕“无相关假设下的检验统计量分布”推导的。

这主要和小样本下的统计假设局限性有关，分几个点说：

• t分布的近似误差被放大：当样本量小的时候，自由度n-2也很小，t分布的尾部比正态分布厚很多。这时候基于t分布计算的p值对数据的正态性假设极度敏感——如果你的数据不严格符合正态分布，p值的偏差会非常大。而小样本下，我们很难准确验证数据是否真的满足正态性（比如常用的Shapiro-Wilk检验在小样本下功效极低），所以p值的可信度自然打折扣。
• 极端值的影响被放大：小样本里，一两个极端值会严重扭曲皮尔逊相关系数r的结果，进而导致t统计量偏离真实值，最终p值就会出现离谱的偏差——比如明明变量间没相关性，却算出很小的p值；或者反之，真的有相关性却得到不显著的结果。而大样本下，极端值的影响会被稀释，r的估计更稳定，p值也更可靠。
• 官方的实际测试结论：SciPy开发团队在大量测试中发现，当n<500时，尤其是n很小（比如n<20），pearsonr()的p值和真实的显著性水平偏差较大，尤其是在数据偏离正态分布的场景下。所以官方特意标注这个阈值，提醒用户在小样本时谨慎解读p值，甚至考虑用非参数方法（比如斯皮尔曼相关）替代。

内容的提问来源于stack exchange，提问作者ElizabethStudent