Scala Spark：蛇形命名Schema的Case Class与Dataset转换问题

这个问题我太熟了——本质就是你的Case Class字段命名（驼峰式userId）和数据表的列名（下划线式user_id）不匹配，Spark默认不会自动做这种命名风格的转换，所以才会抛出找不到字段的异常。

下面给你几个实用的解决办法，按从简单到灵活的顺序来：

1. 显式重命名字段（最直接） #

在转换为Dataset之前，手动把数据表的user_id列重命名为userId，用withColumnRenamed或者selectExpr都可以：

用withColumnRenamed： #

import org.apache.spark.sql.SparkSession

case class User(userId: String)

val spark = SparkSession.builder().appName("Test").getOrCreate()

val ds = spark.read.table("MyTable")
  .withColumnRenamed("user_id", "userId") // 关键一步：重命名列
  .as[User]

用selectExpr： #

如果有多个字段需要转换，这个方式更简洁：

val ds = spark.read.table("MyTable")
  .selectExpr("user_id as userId")
  .as[User]

2. 配置Spark自动处理命名转换（一劳永逸） #

如果你整个项目里都是下划线列名对应驼峰Case Class，直接修改SparkSession的配置，让它自动做映射：

val spark = SparkSession.builder()
  .appName("Test")
  .config("spark.sql.mapCapitalization", "camelCase") // 核心配置：下划线转驼峰
  // 可选：如果你的字段大小写也有问题，可以开启大小写不敏感（默认是false）
  // .config("spark.sql.caseSensitive", false)
  .getOrCreate()

// 现在直接转换就没问题了
val ds = spark.read.table("MyTable").as[User]

这个配置的作用是让Spark在将DataFrame转换为Dataset时，自动把下划线分隔的列名（比如user_id）映射为驼峰命名的Case Class字段（比如userId）。

3. 调整Case Class字段名（应急可用，不推荐） #

如果你不想改代码也不想改配置，直接把Case Class的字段改成和表列名一致：

case class User(user_id: String) // 下划线命名，和表字段一致

不过这种方式不符合Scala的驼峰命名规范，除非万不得已不建议用。

内容的提问来源于stack exchange，提问作者Gal