AWS Glue 2.0升级至3.0遇Scala方法缺失错误，求修复方案

问题根源 #

这个错误是Scala版本不兼容导致的。AWS Glue 3.0默认使用Scala 2.12，而你的代码是基于Scala 2.11.8编译的——Scala 2.12对scala.Predef.refArrayOps方法的签名做了修改，直接导致运行时找不到对应方法。

修复步骤 #

• 重新编译所有自定义Scala代码
  将你的Scala项目（包括CommonUtils.scala、S3Service.scala等核心文件）切换到Scala 2.12版本编译，确保和Glue 3.0的Scala版本完全一致：

  • 若用sbt构建，修改build.sbt中的scalaVersion为2.12.15（或Glue 3.0官方兼容的Scala 2.12子版本）
  • 清理旧编译产物，重新打包生成适配Scala 2.12的JAR包

• 检查第三方依赖的Scala版本兼容性
  确保项目引入的所有第三方依赖库（比如Spark相关依赖）都是针对Scala 2.12编译的，禁止混合不同Scala版本的依赖包，避免出现依赖冲突。

• 更新Glue作业配置
  在Glue控制台中确认作业的Scala版本设置为2.12，同时确认作业运行环境为Glue 3.0（Spark 3.1与Glue 3.0兼容，但需保证依赖版本匹配）。

• 验证代码语法兼容性
  部分Scala 2.11的语法在2.12中有细节变化（比如隐式转换、集合操作逻辑），编译时需处理出现的警告和错误，确保代码在Scala 2.12环境下能正常运行。

内容的提问来源于stack exchange，提问作者vvazza