服从最大极值分布的二分类数据最优分类模型选型咨询

不存在适用于所有场景的绝对最优模型，但最大极值分布（即Gumbel最大分布，属于广义极值分布范畴，核心特征是右偏、厚尾，极端大值的出现概率远高于正态分布假设下的预期）有明确的分布特性，以下几类模型的适配度远高于常规通用模型，按落地优先级排序：

• 优先选：GEV-logit（广义极值逻辑回归）
  普通逻辑回归默认线性预测项服从逻辑分布，和最大极值分布的尾部特征匹配度极差，在极值区间会出现系统性预测偏差。GEV-logit直接将链接函数替换为最大极值分布的累积分布函数，从底层分布假设上完全匹配你的数据特征，只要特征和标签存在较明确的线性关系，在样本量充足的场景下泛化稳定性是所有选项里最好的，且可解释性和普通逻辑回归完全一致，系数有明确统计意义，对可解释性有要求的场景优先选这个。
• 次优先选：GBDT集成模型（XGBoost/LightGBM/CatBoost均可）
  如果你不确定特征和标签是否为线性关系、存在较多非线性特征交互，直接用梯度提升树模型即可。这类模型不对输入特征的分布做任何前置假设，对偏态、厚尾分布的鲁棒性远高于线性模型、高斯核SVM、普通神经网络，不需要对特征做正态转换、极值截断等额外处理，做完常规的缺失值填充、类别特征编码就可以训练，调参后基本能拿到第一梯队的效果，是工业界落地的首选。注意不要对特征做标准化/归一化这类对树模型无意义的操作，也不要随便用缩尾处理截断极值——这些极值本身携带了和标签相关的核心信息，截断反而会损失模型效果。
• 特殊场景可选：带极值正则的浅层神经网络
  如果你的样本量在十万级以上、特征维度极高、存在复杂的高维非线性关系，可以尝试浅层全连接网络，但要注意两点：一是网络不要做太深，否则很容易在极值分布上过拟合；二是要在损失函数中加入针对极值样本的正则约束，或者给极值样本分配合适的权重，避免模型被占多数的非极值样本主导，忽略极值区间的分类边界。这类模型的效果通常不会超过调优后的GBDT，且可解释性差，非必要不优先选。

避坑提示：不要直接用普通逻辑回归、高斯核SVM、线性判别分析（LDA）这类带有正态/轻尾分布假设的模型，这类模型在最大极值分布的数据集上，要么在极值区间预测偏差极大，要么对异常极值过于敏感，核心分类指标通常会比上述推荐模型低10%以上。也不要为了适配线性模型强行对特征做对数转换，最大极值分布的尾部特性经过对数转换后依然无法匹配正态/逻辑分布，反而会扭曲原始特征和标签的关联关系。

内容的提问来源于stack exchange，提问作者TanmayV