Scala3搭配Spark3使用样例类时报No TypeTag available错误如何解决

问题复现 #

基于Scala 3编写Spark Dataset相关作业，代码实现如下：

@main def startDatasetJob(): Unit =
  val spark = SparkSession.builder()
    .appName("Datasets")
    .master("local[*]")
    .getOrCreate()

  case class CarRow(Name: String,
                 Miles_per_Gallon: Double,
                 Cylinders: Long,
                 Displacement: Double,
                 Horsepower: Long,
                 Weight_in_lbs: Long,
                 Acceleration: Double,
                 Year: Date,
                 Origin: String
                )

  implicit val carEncoder: Encoder[CarRow] = Encoders.product[CarRow]
  val carsDF = spark.read
    .format("json")
    .option("inferSchema", "true")
    .load("src/main/resources/data/cars.json")

  val carDS = carsDF.as[CarRow]

编译时抛出如下错误：

No TypeTag available for CarRow
  implicit val carEncoder: Encoder[CarRow] = Encoders.product[CarRow]

问题原因 #

1. CarRow样例类被定义在@main主方法的内部作用域，属于局部内部类。Spark的Encoders.product自动推导依赖全局可访问的TypeTag，局部内部类无法被编译器生成符合要求的TypeTag实例。
2. 若使用的Spark版本低于3.5.0，原生版本对Scala 3的类型标签、隐式编码器推导存在兼容性缺陷，老版本Spark主要适配Scala 2.12/2.13版本，对Scala 3的语法特性适配不全。

修复方案 #

• 优先调整代码结构：将CarRow样例类的定义移动到主方法外部，放在和startDatasetJob同层级的顶级作用域，保证类是全局可访问的顶层定义，调整后代码可正常完成编码器推导。参考结构如下：

import org.apache.spark.sql.{SparkSession, Encoder, Encoders}
import java.sql.Date

// 样例类定义在顶级作用域，不要放在方法内部
case class CarRow(
  Name: String,
  Miles_per_Gallon: Double,
  Cylinders: Long,
  Displacement: Double,
  Horsepower: Long,
  Weight_in_lbs: Long,
  Acceleration: Double,
  Year: Date,
  Origin: String
)

@main def startDatasetJob(): Unit =
  val spark = SparkSession.builder()
    .appName("Datasets")
    .master("local[*]")
    .getOrCreate()

  implicit val carEncoder: Encoder[CarRow] = Encoders.product[CarRow]
  val carsDF = spark.read
    .format("json")
    .option("inferSchema", "true")
    .load("src/main/resources/data/cars.json")

  val carDS = carsDF.as[CarRow]

• 版本适配检查：如果调整类位置后仍报错，检查当前使用的Spark版本，低于3.5.0的版本要么升级到3.5.0及以上（官方正式支持Scala 3的版本），要么引入对应版本的Scala 3 Spark适配依赖，替换原生的编码器推导逻辑。
• 备选方案：如果确实需要在方法内部定义数据结构，可以放弃Encoders.product自动推导，手动构造对应Schema的编码器，不过该方案代码冗余度较高，非特殊场景不推荐使用。

内容的提问来源于stack exchange，提问作者Liusha He