Spark Codegen编译失败：Janino无法识别'com'类型异常

针对Spark 3.3.2至3.5版本中，Codegen生成代码编译抛出org.codehaus.commons.compiler.CompileException、提示无法确定类型名"com"的问题，这里给出几个可行的排查和解决方向：

• 确保自定义类被Spark类加载器正确加载
  自定义类com.testing.events.events.TrackingEvent必须处于Spark driver和executor的类加载路径中：

  • 提交作业时通过--jars参数指定自定义类的jar包；
  • 或者将jar包放置到Spark集群节点的$SPARK_HOME/jars目录下；
  • 检查spark.driver.extraClassPath和spark.executor.extraClassPath配置，确认自定义类的路径已被包含。

• 显式引导Codegen导入自定义类
  Spark Codegen在生成代码时可能未自动导入自定义类，可通过以下方式处理：

  • 在使用自定义类的UDF或Dataset操作中，确保代码中显式引用全限定类名；
  • 若使用Scala，可尝试在代码中提前引入该类，帮助Codegen机制识别并生成正确的导入语句。

• 调整Janino相关配置
  Spark自带的Janino 3.0.16存在部分语法和类加载限制，可尝试调整配置：

  • 临时关闭全阶段Codegen验证问题根源：设置spark.sql.codegen.wholeStage=false，若问题消失则说明是Codegen生成代码时的导入逻辑问题；
  • 增大Janino编译的代码大小限制：设置spark.sql.codegen.janino.maxSize为更大的值（比如65536），避免因生成代码过长导致的编译异常。

• 检查自定义类的兼容性
  确认TrackingEvent类符合Janino的语法要求：

  • 类必须是public修饰的；
  • 避免使用Janino不支持的Java 8+语法特性（如复杂Lambda表达式、接口默认方法等）；
  • 确保类的依赖类也已被正确加载，没有缺失的依赖。

内容的提问来源于stack exchange，提问作者Shashank