逻辑回归模型中，稀疏性达到何种程度会引发结果偏差？

作为经常和逻辑回归打交道的从业者，我太懂你说的这个痛点了——稀疏性几乎是所有真实数据集的“标配”，但到底什么时候它会开始扭曲你的模型结果呢？结合Cohen等人的研究结论（他们明确指出稀疏性会导致比值比和Wald检验结果向上偏倚），我整理了一些实用的判断方法，分经验法则和正式检验两类：

经验法则（快速筛查） #

这些方法不用复杂计算，能帮你快速判断稀疏性的风险：

• 单元格观测数阈值：最常用的规则是：如果交叉表中超过20%的单元格观测值为0，或者有多个单元格的观测数≤5，就要警惕偏差风险。更严格一点的话，如果某个自变量水平对应的阳性结果数（逻辑回归里的事件发生数）≤1，Wald检验和比值比的偏倚会非常显著。
• 样本量-参数比：如果模型的参数总数（主效应+交互项等）接近或超过有效样本量的1/10，稀疏性的影响会被放大。比如100个样本却要拟合15个参数，这时候稀疏性大概率会让结果不可靠。

正式检验方法（精准判断） #

如果经验法则提示有风险，可以用这些方法进一步验证：

• 精确逻辑回归对比：用精确逻辑回归（Exact Logistic Regression）重新拟合模型，它不依赖大样本近似，直接计算精确p值。如果它的结果和普通逻辑回归的Wald检验结果差异巨大，说明稀疏性已经导致了偏差。
• 偏差统计量检验：查看模型的偏差统计量，将其与对应自由度的卡方分布对比。如果偏差值显著大于卡方分布的预期值，意味着稀疏性导致模型拟合不佳，参数估计存在偏倚。
• 参数稳定性验证：尝试移除少量观测值，或者合并自变量中观测数极少的类别，重新拟合模型。如果参数估计（尤其是比值比）发生剧烈波动，说明稀疏性正在破坏结果的稳定性，偏差确实存在。

注：关于稀疏性引发比值比和Wald检验偏倚的核心结论，来自Cohen, J.等人的研究成果。

内容的提问来源于stack exchange，提问作者user183974