Java编写的Spring Boot+Spark项目是否可以用Scala实现Dataset层？

你的迁移方案完全可落地，三个核心问题的解答如下：

Java Service层可直接调用Scala实现的Dataset类 #

Scala最终会编译为标准JVM字节码，和Java类在运行期没有本质区别。你已经配置了scala-maven-plugin支持混编，Scala类对外暴露的普通成员方法、构造方法都可以被Java代码直接调用，和调用普通Java类的体验完全一致。
如果需要Spring托管Scala的Dataset类，直接在Scala类上标注@Component/@Service注解，就能在Java写的Spring Service中通过@Autowired直接注入使用，不需要额外适配。

完全兼容现有Java POJO业务对象 #

Scala和Spark对Java POJO的适配非常成熟：

• 在Scala侧操作Spark Dataset时，直接使用Encoders.bean(YourPojo.class)即可生成对应Java POJO的编码器，和你之前用Java写Spark代码的用法一致
• Scala侧处理完成后返回的Java POJO实例，Java Service层可以直接使用，不需要做任何类型转换，只要你的POJO符合标准Java Bean规范（提供无参构造、属性对应getter/setter方法）即可正常工作。

落地注意事项 #

为了避免不必要的踩坑，迁移时注意以下几点：

• 确保scala-maven-plugin的Scala版本和Spark依赖的Scala主版本完全对齐，比如Spark 3.x默认对应Scala 2.12，不要出现版本 mismatch 导致的类加载异常
• 如果Scala方法使用了隐式参数，建议额外提供适配Java调用的重载方法，在重载方法内部自动填充隐式参数，Java侧调用时不需要感知隐式参数的存在
• 如果需要返回Scala集合给Java层，可通过scala.jdk.CollectionConverters的.asJava方法转换为Java标准集合类型，降低Java侧的适配成本
• 可先迁移1个小的Dataset类验证全链路通了之后再全量迁移，不影响现有业务的正常运行

内容的提问来源于stack exchange，提问作者Marc Le Bihan