机器学习中如何判断连续目标变量与选取的连续特征是否存在依赖关系

• 基础统计层面检验
  • 先计算皮尔逊相关系数及对应p值，可衡量特征与目标的线性关联显著性，仅能捕捉线性关系，存在非线性关联时系数可能趋近于0
  • 针对非线性单调关联，用斯皮尔曼秩相关系数、肯德尔tau系数及对应p值验证，这两个指标不需要线性假设，仅要求关联是单调变化的
• 基于已训练的线性回归模型验证
  • 先通过方差膨胀因子VIF排查特征共线性，VIF高于5（或严格标准10）时，需要先去共线性，否则单个特征的系数显著性结果不可靠
  • 控制其他特征变量后，看单个特征回归系数的p值，若p值低于预设显著性阈值（常用0.05），说明该特征与目标的线性关联统计显著
  • 做全局F检验验证整个回归模型的显著性，排除所有特征与目标均无关联的零假设
• 基于已训练的随机森林模型验证
  • 优先看袋外（OOB）置换特征重要性：随机打乱某一特征的取值后，OOB数据上的MSE上升幅度越大，该特征与目标的关联越强，这个指标比基尼重要性更稳定，受特征共线性影响更小
  • 做置换检验验证：将目标变量随机打乱后重新训练随机森林，得到空分布下的特征重要性，若真实模型中该特征的重要性显著高于空分布的95%分位数，即可排除关联是随机产生的可能
• 可视化验证
  • 绘制单特征部分依赖图（PDP），可直观观察单个特征取值变化时，目标变量平均预测值的变化趋势，能直接区分关联是线性、非线性还是无明显规律
  • 绘制累积局部效应图（ALE），比PDP更准确，不受特征间相关性的干扰，可以更真实反映特征对目标的边际影响
• 稳健性校验
  • 拆分训练集和测试集，验证特征在两个数据集上的关联表现是否一致，避免过拟合带来的假关联
  • 样本量充足的情况下做K折交叉验证，看不同折下特征的显著性、重要性是否稳定，仅在多折验证中都稳定存在的关联才更可能是真实关联

内容的提问来源于stack exchange，提问作者user3282758