假设检验、p值、参数检验相关问题及A/B测试案例咨询

假设检验 #

统计分析里用来判断样本数据能不能支撑关于总体结论的方法。先定一个“默认立场”（比如「两组数据的核心指标没有差异」），然后拿样本数据去验证这个立场站不站得住脚——要是数据里的差异大到不太可能是随机巧合，就推翻默认立场，反之就只能暂时接受。

p值 #

在默认立场成立的前提下，出现当前样本结果（甚至更极端结果）的概率。比如p值=0.03，意思是如果默认立场真的成立，那拿到现在这批数据的概率只有3%。通常把0.05当阈值：p值小于0.05，就认为默认立场大概率不成立；大于等于0.05，就没足够证据推翻它。

参数检验 #

一类依赖总体分布假设的统计检验方法，比如要求总体得是正态分布、两组方差得接近这类前提。常见的有t检验、z检验，这类检验效率高，但前提条件必须满足——要是数据不服从正态分布，硬用参数检验结果就不准。

你提到的零售企业测试，目标是验证购物车图标改尺寸能不能提升用户加购商品数量的期望值，现有两组各10个用户数据（通用分析流程如下）：

1. 明确假设：
   • 原假设（H₀）：对照组A和处理组B的加购商品数量期望值一致，即改图标没有效果
   • 备择假设（H₁）：处理组B的加购数量期望值高于A组，即改图标有效
2. 选择检验方法：
   • 先核查数据分布：如果两组数据都近似正态分布、方差也相近，就用独立样本t检验（属于参数检验）；
   • 要是数据不满足正态分布，就换用曼-惠特尼U检验这类非参数检验。
3. 计算统计量与p值：
   用统计工具即可完成计算，比如用Python的scipy库，代码示例：

   from scipy import stats
   # 替换为你的实际加购数据列表
   a_group = [1, 3, 2, 4, 1, 2, 3, 1, 2, 3]
   b_group = [2, 4, 3, 5, 2, 3, 4, 2, 3, 4]
   # 单侧检验：验证B组均值是否大于A组
   t_stat, p_val = stats.ttest_ind(a_group, b_group, alternative="greater")
   

4. 得出结论：
   • 若p_val < 0.05，可推翻原假设，说明更改图标尺寸确实能提升用户加购商品数量的期望值；
   • 若p_val ≥ 0.05，就没有足够证据证明改图标有用，建议加大样本量后再测试。

内容的提问来源于stack exchange，提问作者Madmax7