如何用Wilcoxon秩和检验判断两种元启发式算法结果的优劣？

我运行了两种不同的元启发式算法各25次，希望检验哪种算法的结果更优，因此选择使用Wilcoxon秩和检验，但无法理解scipy库中ranksums函数的输出。以下是测试用的代码及输出：

from scipy.stats import ranksums
import numpy as np  # 补充原代码缺失的导入

rng = np.random.default_rng()
sample1 = rng.uniform(-1, 1, 200)
sample2 = rng.uniform(-0.5, 1.5, 200)

# 无指定alternative的双侧检验
print(ranksums(sample1, sample2))
# 输出：RanksumsResult(statistic=-7.887059, pvalue=3.09390448e-15)

# 单侧检验：检验sample1是否显著小于sample2
print(ranksums(sample1, sample2, alternative='less'))
# 输出：RanksumsResult(statistic=-7.750585297581713, pvalue=4.573497606342543e-15)

# 单侧检验：检验sample1是否显著大于sample2
print(ranksums(sample1, sample2, alternative='greater'))
# 输出：RanksumsResult(statistic=-7.750585297581713, pvalue=0.9999999999999954)

核心结论 #

你的猜测完全正确：sample2的结果显著优于sample1。下面逐段解释代码和输出的含义：

1. 测试样本的本质 #

代码里生成的两个样本：

• sample1 是范围在[-1, 1]的均匀分布随机数，均值为0
• sample2 是范围在[-0.5, 1.5]的均匀分布随机数，均值为0.5
  从分布上看，sample2的整体数值本来就比sample1大，这是后续检验结果的基础。

2. ranksums函数的作用 #

scipy.stats.ranksums 实现的是Wilcoxon秩和检验（也叫Mann-Whitney U检验的近似版本），用于判断两个独立样本的分布是否存在显著差异，或者其中一个样本的数值是否显著优于另一个。

3. 三个输出的详细解读 #

（1）无alternative参数的双侧检验

这是默认的检验模式，原假设是「两个样本的分布完全相同」。

• statistic=-7.887：秩和统计量为负，说明sample1的整体秩次低于sample2（即sample2的数值更大）
• pvalue=3.09e-15：p值远小于常用的显著性水平0.05，说明我们有足够的证据拒绝原假设，即两个样本的分布存在显著差异。

（2）alternative='less'的单侧检验

这个模式的原假设是「sample1的分布不小于sample2」，备择假设是「sample1的分布显著小于sample2」。

• pvalue=4.57e-15：同样远小于0.05，我们拒绝原假设，接受备择假设——sample2的数值显著大于sample1，对应到你的算法场景，就是sample2对应的算法结果更优。

（3）alternative='greater'的单侧检验

这个模式的原假设是「sample1的分布不大于sample2」，备择假设是「sample1的分布显著大于sample2」。

• pvalue≈1：p值接近1，说明没有任何证据支持备择假设，即我们不能认为sample1的结果优于sample2。

针对你的算法场景的判断逻辑 #

如果你用算法A的结果作为sample1，算法B的结果作为sample2，那么：

• 若你的问题是「数值越大结果越优」：当alternative='less'的p值<0.05，说明算法B的结果显著更优
• 若你的问题是「数值越小结果越优」：当alternative='greater'的p值<0.05，说明算法A的结果显著更优

结合你的测试样本，sample2的均值更大，检验结果也验证了这一点，所以sample2对应的算法更优。

内容的提问来源于stack exchange，提问作者prenses_mahmut