分类变量独热编码致特征过多及模型训练特征列数选型咨询

• 合并低频类别：将占比极低（比如小于1%）的类别统一归为“其他”类，既能大幅减少特征数量，又不会损失关键信息。例如“职业”变量里，仅零星样本出现的小众职业，都合并为“其他职业”。
• 目标编码/均值编码：用类别对应的目标变量均值替代原类别，把高基数分类变量转化为单一数值特征。注意要通过交叉验证或留一法计算均值，避免因数据泄露导致过拟合。
• 特征哈希：借助哈希函数将类别映射到固定数量的桶中，无需预先枚举所有类别，可直接控制特征列总数。虽然可能出现哈希碰撞，但在多数业务场景下影响可控。
• 嵌入层（针对深度学习）：先将高基数分类变量转为整数编码，再通过嵌入层映射到低维稠密向量，既压缩特征维度，还能捕捉类别间的潜在关联。
• 选用适配的模型：树模型（如随机森林、XGBoost、LightGBM）无需独热编码，可直接处理整数编码的分类变量，模型会自动学习类别权重，从根源避免特征爆炸问题。

不存在固定的“标准范围”（比如20列或50列），核心取决于以下几个维度：

• 数据集规模：小数据集（样本量<10000）若特征过多，极易过拟合，建议通过方差过滤、互信息筛选、递归特征消除等方法精简到几十列以内；大数据集（样本量>100000）可容纳更多特征，即使上百列有效特征也能稳定训练。
• 模型类型：线性模型（逻辑回归、线性回归）对特征数量敏感，通常要求样本量至少是特征数的5-10倍，否则易出现过拟合或系数不稳定；树模型和深度学习模型对多特征容忍度更高，尤其是树模型能自动筛选核心特征，数百列特征也能有效训练。
• 特征质量：若多数特征是冗余或无预测价值的，哪怕只有20列也可能拖垮模型效果；若特征均为高区分度的核心变量，100列也能训练出优质模型。因此关键是特征的有效性而非数量，需通过特征工程剔除无用特征。

内容的提问来源于stack exchange，提问作者MaAleem