在Google Dataproc使用Sparkling Water部署H2O MOJO时遇分类值异常

针对你遇到的PredictUnknownCategoricalLevelException错误，结合你的环境信息，从以下几个方向排查：

1. 版本兼容性不匹配 #

模型基于H2O 3.30.0.4训练，但Dataproc安装的h2o_pysparkling_3.1可能默认绑定的H2O核心版本与训练版本不一致。H2O的MOJO模型对版本兼容性要求严格，不同版本的H2O对分类值的解析逻辑可能存在差异，导致原本合法的分类值被判定为未知。

• 解决方法：在Dataproc的PIP_PACKAGES配置中明确指定与训练版本一致的H2O及h2o_pysparkling包，示例：

  "PIP_PACKAGES": "h2o==3.30.0.4 h2o_pysparkling_3.1==3.30.0.4"
  

  注意h2o_pysparkling的版本号需与H2O核心版本完全对应。

2. 数据编码或字符一致性问题 #

虽然源数据格式一致，但Dataproc与Hadoop的Spark环境对字符串的编码处理可能存在差异，导致表面相同的分类值实际存在字符编码、全半角或不可见字符的区别。

• 解决方法：
  • 在Dataproc中执行Spark SQL查询，提取my_column的唯一值：

    SELECT DISTINCT my_column FROM your_data_table
    

    将结果与Hadoop端的取值逐一对比，检查是否存在字符差异。
  • 读取数据时显式指定编码格式，确保与Hadoop端一致，例如：

    df = spark.read.csv("gs://your-bucket/data.csv", encoding="utf-8")
    

3. MOJO模型文件完整性问题 #

迁移MOJO模型文件到GCS时，可能出现文件损坏或缺失（比如包含分类映射关系的辅助文件未完整上传），导致模型无法识别合法的分类值。

• 解决方法：
  • 对比Hadoop端与GCS端的MOJO模型目录，检查文件数量、大小是否完全一致。
  • 重新上传MOJO模型文件到GCS，确保传输过程无中断或损坏。

4. Spark数据类型映射差异 #

Hadoop端的Spark可能将my_column解析为字符串类型，但Dataproc端因数据源读取配置不同，可能将该列识别为其他类型（如枚举、字节数组等），导致MOJO解析时类型不匹配。

• 解决方法：
  • 在Dataproc的Spark任务中，显式将my_column转换为字符串类型：

    df = df.withColumn("my_column", df["my_column"].cast("string"))
    

  • 对比Hadoop与Dataproc端的Spark数据类型元数据，确保该列的类型定义完全一致。

内容的提问来源于stack exchange，提问作者trougc