PySpark中OneHotEncoding在高度相似DataFrame上运行异常求助

这是PySpark ML 特征转换环节最常见的训练/测试流程不兼容问题，和OneHotEncoder函数本身的运行逻辑无关。Spark 的特征转换器（包括StringIndexer、OneHotEncoder）不是无状态的纯计算函数，它依赖列上挂载的结构化元数据识别类别映射规则，只要测试集上传到Encoder的列属性，和训练集上拟合得到的Encoder要求的输入属性不匹配，就会直接抛出类型不兼容的报错。
常见的触发场景有三类：

• 流程拆分错误：在训练集上拟合完StringIndexer之后，没有使用已经训练完成的Indexer模型去转换测试集，反而手动把训练集上的类别索引映射硬套到测试集上，导致测试集上传到Encoder的列，缺少Encoder要求的类别映射元数据
• 元数据丢失：测试集在传入Encoder之前，对中间生成的索引列做了额外的类型转换、重命名、大范围行过滤操作，破坏了列上原本携带的类别映射元数据，Encoder读不到合法的结构信息就会报错
• 异常值未兼容：测试集中存在训练集从未出现过的类别取值，且StringIndexer没有设置异常值处理参数，转换阶段生成的列结构不符合Encoder的输入要求

• 严格遵循Spark ML Pipeline的标准使用流程：
  • 把StringIndexer、OneHotEncoder按转换顺序加入同一个Pipeline的Stage列表
  • 仅在训练集上对整个Pipeline做拟合操作，生成训练完成的PipelineModel
  • 用同一个PipelineModel分别转换训练集和测试集，全程不要在Pipeline流程外手动修改中间生成的特征列
• 给StringIndexer添加异常值兼容参数，设置handleInvalid="keep"，遇到测试集新增的未知类别时统一映射为固定的无效值索引，避免流程直接中断
• 不要在转换流程外对中间索引列做不必要的类型转换、列重命名操作，如果必须调整列逻辑，要把对应计算步骤加入Pipeline的Stage列表，保证列上的元数据在全流程传递过程中不丢失

踩坑提示：很多开发者在训练集上把转换流程跑通后，图方便直接把转换逻辑套到测试集上，完全忽略了Spark转换器是带状态的组件——它的映射规则是在训练阶段学习得到的，不是通用的纯函数，一旦跳过模型转换步骤手动修改列结构，大概率会遇到元数据不匹配的报错。

内容的提问来源于stack exchange，提问作者Johanna