基于数据挖掘与机器学习的降雨预测建模相关性问题咨询

一、定位Rain Gauge高关联变量的替代方法 #

你用Spearman、Kendall计算全样本相关得到近零结果，大概率不是变量真的无关联，是现有方法没有覆盖变量间的关系类型，按以下顺序排查即可定位有效关联：

• 先排查基础计算偏差
• 核对时间尺度匹配性：很多人会直接计算同期逐小时气象要素与逐小时降雨的关联，但实际降雨过程和降雨发生前1-3小时的气象要素动态变化高度相关，同期计算本身就会拉低关联度。可以尝试计算每个气象变量的1/2/3小时滞后值、过去3小时的滑动累积值、相邻时段的变化率，再重新计算相关
• 分样本计算关联：如果你的降雨序列零值占比超过60%（多数时段无降雨），全样本计算时大量零值会稀释掉真实的关联强度，可以拆分有降雨、无降雨两个时间窗口分别计算变量关联，不要全样本混合计算
• 换用支持非线性关联的度量工具
• 现有使用的秩相关只能捕捉单调变化的关系，但降雨与多数气象要素的关联是阈值型的（比如相对湿度低于60%时几乎无降雨，超过90%后降雨量随湿度上升明显增长），这类非线性关系无法被秩相关捕捉。可以用互信息、分组Kruskal-Wallis检验计算变量关联，这类方法不强制要求变量关系满足线性或单调假设
• 运行一个无调参的基础随机森林模型，直接查看置换特征重要性。树模型可以自动捕捉变量的非线性影响、多变量交互作用，很多单变量相关接近零的因子，在模型框架下会展现出很高的预测重要性
• 补充计算衍生特征找关联
  你目前使用的都是气象要素的瞬时静态值，实际与降雨强关联的往往是变量的动态特征，比如温度1小时降幅、风向角度区间、O3浓度昼夜变化率，没有纳入这类特征的话，自然难以定位到高关联项。

二、相关系数接近零时的变量入模判断 #

完全可以将这类变量纳入建模流程，不要陷入“相关系数低=无预测价值”的误区

• 传统相关系数的本质是衡量两个变量独立的、线性/单调的关联强度，它既不覆盖变量间的交互效应，也不适配零膨胀的因变量场景。比如单独看风速与降雨的相关系数可能只有0.05，但当风速处于特定风向、同时相对湿度超过90%时，降雨发生概率会提升3倍，这类交互效应是单变量相关计算完全无法捕捉的
• 这类低相关变量入模前，仅需要完成两项基础校验即可：
• 排查变量间的多重共线性，将VIF值超过10的冗余变量剔除，避免模型估计不稳定
• 匹配适配降雨零膨胀特性的模型（比如Tweedie分布回归、梯度提升树），不要硬套普通线性回归，避免因模型适配性差放大低相关带来的负面影响
• 真正需要剔除的低相关变量只有一类：不仅单变量关联接近零，在基础树模型的特征重要性排名中处于最后10%，且置换检验显示移除该变量后模型预测精度无任何下降——这类因子才是真的无预测价值，其余低相关变量都可以先纳入后续建模流程。

内容的提问来源于stack exchange，提问作者NishPre