TensorFlow决策森林如何原生处理分类数据？底层机制解析

TF-DF在处理分类特征时，并没有采用独热编码、标签编码这类传统转换方式，而是基于决策树的特性做了针对性优化，核心逻辑如下：

• 按频率排序的整数ID映射
  首先会统计每个分类特征下各取值的出现频率，然后按频率从高到低为每个类别分配一个唯一整数ID。高频类别获得更靠前的ID，让决策树在分裂时优先聚焦区分度更高的常见类别，提升计算效率。

• 分裂时的类别分组计算
  在决策树节点分裂阶段，TF-DF不会把每个类别当成独立数值处理，而是直接对类别集合进行分组测试。比如尝试将类别划分为{A,B}和{C,D}两组，基于每组的样本统计信息（如监督任务的标签分布、异常检测的样本密度等）计算分裂增益，选择最优分裂方式。这种原生分组能力完全避免了独热编码导致的特征维度爆炸问题。

• 缺失值的原生适配
  对于缺失的分类值，TF-DF会将其视为一个独立的特殊类别，不需要额外生成is_present标记或提前填充。分裂时缺失值会单独作为一组参与计算，无需额外预处理。

• 适配决策树的存储与计算逻辑
  底层存储上，分类特征会以整数ID的形式保存，但计算分裂增益时，直接基于类别分组的统计信息进行，而非依赖ID的数值大小。这种逻辑和神经网络依赖数值嵌入的方式完全不同，更贴合决策树的分裂需求。

要注意的是，这种处理逻辑是TF-DF专为决策树类模型设计的，和TensorFlow其他模块（比如Keras）的分类特征处理逻辑不同，后者通常仍需独热编码或嵌入层来转换特征。

内容的提问来源于stack exchange，提问作者mangokitty