为何KS检验在分布不同时p值接近1？两组样本案例分析

样本与检验代码 #

两组样本数据：

a = [5,5,5,5,5,4,4,4,4,3,3,3,2,2,1]
b = [5,4,3,2,1]

执行KS检验的Python代码及输出：

from scipy import stats
stats.ks_2samp(b,a)
# 输出：KstestResult(statistic=0.2, pvalue=0.9979360165118678, statistic_location=2, statistic_sign=1)

你存在的核心理解误区 #

1. 误解KS检验的检验目标 #

KS检验对比的是两个样本的累积分布函数（CDF）的最大差异，而非样本的频率分布或权重。计算两组的CDF就能明白：

• 样本a的CDF：x=1时为1/15≈0.067；x=2时为3/15=0.2；x=3时为6/15=0.4；x=4时为10/15≈0.667；x=5时为1
• 样本b的CDF：x=1时为1/5=0.2；x=2时为2/5=0.4；x=3时为3/5=0.6；x=4时为4/5=0.8；x=5时为1
  两者CDF的最大差异是0.2，这个数值在样本量失衡的情况下，不足以被判定为“显著差异”。

2. 忽略样本量失衡对检验效力的影响 #

样本a有15个数据，样本b仅5个。KS检验的统计效力严重依赖样本量：当一组样本量极小时，其CDF的随机波动本身就很大，和大样本CDF的差异很容易被归为随机误差，导致无法拒绝“分布相同”的原假设。

3. 错误解读p值的含义 #

p值0.9979不是“两组分布几乎完全一致”的证明，而是说：在“两组分布相同”的原假设成立时，出现当前或更极端检验结果的概率极高。它仅代表“没有足够证据拒绝原假设”，而非“原假设成立”——你把“无法否定”等同于“完全一致”，这是p值解读的典型误区。

内容的提问来源于stack exchange，提问作者Lunar Cultist