数据科学中变量正态性判断：仅靠可视化还是需结合检验？

最佳实践是结合可视化指标与统计检验，而非仅依赖某一种方式，原因如下：

一、仅依赖可视化的局限性 #

• 可视化（直方图、QQ图）直观但主观性强：不同人对“近似正态”的判断可能存在差异，尤其是当分布接近正态但有细微偏斜或峰度异常时，肉眼容易漏判这些细节。
• 大样本下的误导性：当样本量较大时，即使数据存在微小的正态偏离，直方图可能依然呈现出“近似正态”的形态，但这种偏离可能会对依赖正态假设的后续分析（如t检验、线性回归）产生影响。

二、仅依赖统计检验的问题 #

• 大样本敏感度过高：你提到的问题确实存在——像Shapiro-Wilk这类检验，当样本量超过几百时，哪怕数据只是轻微偏离正态，也很容易得到显著的p值（拒绝正态性假设），但这种偏离在实际分析场景中往往没有统计学意义。
• 单一检验的局限性：不同检验的适用场景和敏感点不同，比如Shapiro-Wilk更适配小样本，D'Agostino_K2对偏度和峰度的偏离更敏感，仅看单一检验结果容易得出片面结论。

三、合理的结合判断流程 #

• 先通过可视化快速筛选：用直方图观察整体分布形态，QQ图查看数据点是否贴合对角线——这一步可以直接排除明显非正态的情况（如严重偏态、多峰分布）。
• 再结合统计量与检验结果：
  • 偏度（Skewness）和峰度（Kurtosis）落在(-1, +1)区间是行业常用的经验法则，说明分布与正态的偏离程度在可接受范围内。
  • 对比多种检验结果：如果多数检验（如Shapiro-Wilk、Lilliefors、D'Agostino_K2）的结论一致（不拒绝正态假设），再结合可视化的直观判断，结论会更稳妥；若检验结果矛盾，回到可视化分析偏离的具体方向（偏斜或峰度问题），再判断这种偏离是否会影响后续分析。
• 锚定分析目的：如果后续采用稳健性分析方法（如中位数检验、非参数回归），对正态性要求较低，轻微偏离无需过度纠结；如果是依赖正态假设的方法（如t检验、方差分析），则需要更严格的判断标准。

内容的提问来源于stack exchange，提问作者Caio Sóter