使用Flink SQL写入Delta表时出现NoSuchMethodError错误求助

问题根源 #

这个NoSuchMethodError是由于Scala集合转换API的版本不兼容导致的：

• Scala 2.13中scala.jdk.CollectionConverters的方法签名或类路径与Delta/Flink依赖的Scala库版本不匹配
• 核心原因是项目中引入了不同版本的Scala核心库或集合兼容包，引发依赖冲突

具体解决步骤 #

• 确认Delta包的Scala版本匹配：确保引入的Delta-Flink包是针对Scala 2.13编译的，即包名格式为delta-flink_2.13-3.0.0.jar，不要误引入Scala 2.12版本的包
• 排查依赖冲突：
  • Maven项目执行mvn dependency:tree，SBT项目执行sbt dependencyTree，查看输出中是否存在多个版本的scala-library、scala-collection-compat依赖
  • 找到冲突的依赖后，在构建文件中强制统一版本（比如Flink 1.16.0适配的scala-collection-compat版本为2.7.0，可在pom.xml或build.sbt中锁定该版本）
• 调整Flink依赖范围：将Flink的Scala相关依赖（如flink-scala_2.13）设置为provided，避免打包时将集群已有的Scala库带入，减少冲突概率
• 验证版本兼容性：Delta 3.0.0官方支持Flink 1.14~1.17，版本本身兼容，重点保证依赖的一致性

内容的提问来源于stack exchange，提问作者Zhongwei Xu