如何有意义地解释BaseN编码后城市特征的重要性结果

你没有完全丢失特征可解释性，可通过以下方法反向推导具体城市对目标变量的影响：

核心分析方法 #

• 整体特征重要性验证
  不要单独解读单个City_#列的重要性，将所有City_*列视为一个整体特征组，通过置换该组全部取值计算下降的模型精度，即可先判断「出生地城市」这个大类特征对分类结果的整体贡献度。
• 单城市边际效应计算
  固定所有非城市特征的取值，依次将城市列替换为每个待评估城市对应的Base4编码值，输入模型得到对应预测结果，对比不同城市替换后预测结果的波动幅度，波动越大说明该城市对目标变量的影响越强。
• 编码反向映射溯源
  提前建立全量城市和对应Base4编码的映射表，提取随机森林中涉及City_*特征的高增益分裂节点，将多个City_#的分裂阈值组合后，匹配映射表中符合条件的城市，即可定位到对分类结果影响最大的城市范围。
• 样本分布快速验证
  抽取模型预测置信度最高/最低的分群样本，统计这些样本中出生地城市的出现频率，出现频率显著高于整体水平的城市，就是对目标变量影响最大的城市，不需要拆解编码即可快速得到业务结论。

优化建议 #

如果后续对特征可解释性要求更高，可以将Base4编码替换为带正则化的目标编码，仅需生成1列城市特征即可避免高基数问题，单特征的重要性、边际效应解读都更直观，只需注意用交叉验证做平滑处理避免过拟合即可。

内容的提问来源于stack exchange，提问作者lte__