如何验证某方法在多计算复杂度等级下对CPU使用率的统计显著差异？

你的核心需求是检验特定方法（处理组）与无该方法（对照组）的CPU使用率是否存在统计显著差异，同时数据包含计算复杂度等级这一分组变量（共5个等级），以下是针对性的方法选择：

1. 双因素方差分析（Two-Way ANOVA） #

• 适用场景：数据包含两个自变量——「是否使用目标方法」（二分类：是/否）和「计算复杂度等级」（五分类：1-5级），因变量是连续型的CPU使用率，完全匹配双因素ANOVA的适用条件。
• 分析价值：既能检验目标方法对CPU使用率的主效应，还能分析「方法×复杂度等级」的交互效应——比如判断是否在高复杂度等级下，该方法对CPU的影响更显著。
• 前提修正：若数据不满足正态性或方差齐性，可改用非参数双因素秩和检验（如扩展版Friedman检验、结合事后检验的Kruskal-Wallis检验）。

2. 单因素ANOVA+事后检验（按复杂度等级拆分） #

• 操作逻辑：如果重点关注「每个复杂度等级下，该方法是否都显著影响CPU使用率」，可对每个等级单独做单因素ANOVA（或独立样本t检验，因每个等级仅分处理/对照两组），再用Bonferroni校正控制多重比较的误差。
• 注意：拆分分析会提升一类错误概率，必须做校正避免假阳性结果。

3. 混合效应模型（Mixed Effects Model） #

• 适用场景：若同一复杂度等级下存在重复测量（如同一任务多次运行的CPU数据），或数据有层级结构，混合效应模型能更灵活地处理随机误差，还可纳入更多潜在控制变量。

关键补充 #

• 卡方检验不适用的原因：卡方针对分类变量关联性分析，而你的因变量CPU使用率是连续数值，完全不匹配，直接排除。
• 配对检验不可行的原因：配对检验要求两组数据一一对应（如同一任务在有无方法下的两次测量），你的原始数据无法满足该条件，因此独立样本类检验才是正确方向。

内容的提问来源于stack exchange，提问作者Pascal