独热编码后分类特征的特征重要性能否直接求和合并？

直接求和是否可行？ #

可以直接将独热编码后的各子特征重要性求和，比如你例子里的Department_0:0.03、Department_1:0.08、Department_2:0.12，求和得到0.23作为原Department特征的重要性，这是一种简单直观的做法，但并非在所有场景下都合理。

直接求和的弊端 #

• 类别不平衡干扰：若原分类特征存在样本量极不均衡的类别，这类别对应的独热特征重要性可能包含大量噪声，求和会把噪声纳入原特征的整体重要性，导致结果失真。
• 模型逻辑适配问题：对于树模型（如随机森林），独热后的子特征可能会在不同分裂节点被选中，它们的重要性存在一定冗余性，直接求和可能重复计算原特征的贡献。
• 无法反映交互作用：原分类特征可能与其他特征存在交互效应，单个独热子特征的重要性无法体现这种整体交互，求和后也不能还原原特征的真实作用。

最佳合并方法 #

1. 直接计算原分类特征的置换重要性 #

这是最可靠的通用方法：不进行独热编码，直接对原分类特征的所有样本值进行随机置换，观察模型性能（如准确率、AUC、损失值）的下降幅度，这个下降幅度就是原特征的整体重要性。这种方法完全绕开了独热编码的拆分问题，直接衡量原特征对模型的贡献。

2. 针对线性模型的系数平方求和 #

如果使用线性回归、逻辑回归等模型，基于系数的重要性计算时，可以将原分类特征对应的所有独热子特征的系数平方后求和。因为线性模型中系数的正负仅代表方向，平方后能统一衡量各子特征的贡献强度，求和后更准确反映原特征的整体作用。

3. 树模型的特征组重要性计算 #

对于XGBoost、LightGBM等支持特征组的树模型，可以将独热后的所有子特征标记为同一特征组，直接计算该特征组的整体重要性，避免单个子特征的拆分干扰。

内容的提问来源于stack exchange，提问作者JustAnotherDataEnthusiast