kstest函数p值异常排查：基于经验CDF的分布检验

你遇到的核心问题在于：scipy.stats.kstest的设计目标是检验样本是否符合一个已知的理论分布**，而非从有限样本中估计得到的经验累积分布函数（ECDF）**。

当你用data1生成ECDF时，这个ECDF本身是带有抽样误差的估计值，并非真实的总体分布。但kstest默认假设参考分布是完全确定的，不会考虑ECDF的估计误差，这就导致检验统计量的分布偏离了KS检验的理论假设，最终错误地计算出偏态的p值——表现为假阳性率（FDR）远高于设定的0.05阈值，也就是频繁错误地判定样本来自不同分布。

而scipy.stats.ks_2samp是专门为两独立样本的分布一致性检验设计的，它会同时考虑两个样本的随机性，正确调整统计量的分布，因此p值的分布符合[0,1]均匀分布的预期，FDR也接近设定的阈值。

你的临时解决方案解析 #

你自定义的my_ks_test方法，本质上是借鉴了两样本KS检验的修正逻辑，解决了kstest忽略ECDF估计误差的问题：

1. 引入了生成ECDF的样本量参数ecdf_n，用sqrt(n * ecdf_n/(n + ecdf_n))替代了kstest中默认的sqrt(n)，这个修正因子正是两样本KS检验中用于调整统计量尺度的核心部分；
2. 使用kstwobign分布计算p值，这也是两样本KS检验的标准做法。

你的自定义函数代码如下：

import numpy as np
from scipy import stats

def my_ks_test(data, ecdf, ecdf_n=None):
    n = data.size
    sorted_data = np.sort(data)
    data_cdf = np.searchsorted(sorted_data, sorted_data, side='right')/(1.0 * n)
    data_cdf_by_ecdf = ecdf(sorted_data)
    d = np.max(np.absolute(data_cdf - data_cdf_by_ecdf))
    if ecdf_n is None:
        en = np.sqrt(n)
    else:
        en = np.sqrt(n * ecdf_n/float(n + ecdf_n))
    try:
        p_val = stats.distributions.kstwobign.sf((en + 0.12 + 0.11 / en) * d)
    except:
        p_val = 1.0
    return p_val

从你的测试结果来看，该方法的FDR（0.037）已经接近预期的0.05阈值，虽然在统计严谨性上还有提升空间，但在只能基于小样本生成ECDF的场景下，这是一个非常实用的临时方案。

内容的提问来源于stack exchange，提问作者Mike Ozol