高基数分类变量编码与互信息特征选择实操问题咨询

不一定，具体看你用的特征选择类型：

• 无监督特征选择（比如方差筛选、唯一值占比筛选）可以放在编码前做。你现在的数据集有200万条记录，可以先把唯一值占比极高的ID类字段（比如如果cc-num的唯一值和记录数接近，属于唯一标识类字段）先筛掉，不用进入编码环节，能节省大量计算资源。
• 有监督特征选择（比如你要用的互信息、F检验）必须在编码后做。这类方法需要计算特征和目标变量的关联度，分类变量不转成数值型的话无法计算相关指标，必须先完成编码再做特征选择。

有，两种可直接落地的方案：

• 换用支持连续输入的互信息实现。你遇到的报错是因为调用了仅支持离散变量输入的互信息接口，常用的scikit-learn库中mutual_info_classif（分类任务）和mutual_info_regression（回归任务）本身完全支持浮点型输入，留一编码的输出可以直接喂给这两个接口计算互信息，不需要额外处理。
• 若必须使用仅支持离散输入的互信息实现，可以对留一编码的输出做5~20分箱的等频/等距离散化，转成离散的分箱序号后再计算互信息，这个区间的分箱数基本不会损失特征和目标的关联信息。
  两种方案选出来的特征都可以直接喂给Bagging、随机森林、Boosting类的树模型，树模型本身对浮点型特征适配性很好，不需要额外转换。

适配，但要注意两个边界问题：

• 首先确认分类变量的取值频率和目标变量是否存在相关性。比如金融交易反欺诈场景下，低频出现的商户、地址往往欺诈概率更高，这时候频率编码效果会很好；如果两者没有明显关联，效果会弱于留一编码这类有监督编码。
• 注意避免频率冲突问题：如果两个完全不同的分类取值出现的样本频率一致，频率编码会给两者赋相同的数值，丢失原始特征的区分度。出现这类情况可以把频率编码和少量其他特征（比如分类取值的首字符哈希值）组合使用，或者优先使用留一编码。
  补充：你后续用的是树类模型，本身不需要特征归一化，如果不是必须用互信息做特征选择，也可以直接用树模型输出的特征重要性做筛选，省掉单独做特征选择的步骤。

内容的提问来源于stack exchange，提问作者EVA