PySpark中整型分类列是否需要使用StringIndexer做特征处理？

是否需要使用StringIndexer取决于你后续使用的模型类型，两种情况都不建议直接保留原有整型格式直接投入训练

• 如果你使用线性模型、逻辑回归、SVM、神经网络等对输入数值大小敏感的模型
  • 不能直接使用原有整型：这类模型会默认数值的大小差具有实际数学含义，比如认为“12月=121月”“周日=7周一”，会给模型引入完全错误的先验偏差
  • 正确处理流程：先通过StringIndexer将离散数值映射为连续的分类索引，再接入OneHotEncoder做独热编码后再投入训练；Spark 3.0及以上版本也可以直接调用OneHotEncoder处理这两列，无需提前调用StringIndexer
• 如果你使用决策树、随机森林、GBDT等树类模型
  • 也不建议直接使用原有整型：PySpark MLlib的树模型默认会将整型输入识别为连续数值特征，分裂时会按连续区间做切分，而不是按分类特征的离散值做切分，会大幅降低特征的有效性
  • 正确处理流程：仅需要调用StringIndexer将两列标记为分类索引即可，无需后续做独热编码，树模型可以直接识别StringIndexer输出的列为分类特征，按离散值做最优分裂

额外优化方案：如果想要更好的捕捉两个特征的周期属性（比如12月和1月相邻、周日和周一相邻），也可以选择将两个列转换为正弦/余弦周期编码，比独热编码的信息密度更高，对线性模型和树模型都有提升效果。

内容的提问来源于stack exchange，提问作者jixubi