Spark映射DataFrame至Case Class后输出为空问题求助

核心问题：类型不匹配导致序列化失败 #

你的DataFrame中rank字段是Int类型，但定义的Case Class Data里rank是String类型。直接用row.getAs("rank")获取Int值并赋值给String字段，会导致类型不兼容，Spark在序列化Dataset时无法正确处理，最终输出空结果。

另外，Scala Case Class通常建议使用默认的val（无需显式声明var），显式写var虽语法合法，但不符合Case Class设计初衷，也可能引发序列化相关隐性问题。

修复方案 #

方案1：修正Case Class的类型匹配

将Data类的rank字段类型改为Int，与原DataFrame的类型保持一致：

case class Data(
    name: String,
    rank: Int  // 改为Int类型
)

方案2：转换时将Int转为String

如果必须保留rank为String类型，在convert方法中显式把Int值转为String：

def convert(row: Row): Data = {
    Data(
        row.getAs[String]("name"),  // 显式指定类型更安全
        row.getAs[Int]("rank").toString  // 转为String类型
    )
}

额外注意事项

确保代码中导入了Spark的隐式转换，这是DataFrame转Dataset的必要前提：

import spark.implicits._  // spark为你的SparkSession实例

验证修复 #

修改后重新运行代码，调用ds.show()即可得到正确输出：

+------+----+
|  name|rank|
+------+----+
|piyush|   1|
+------+----+

内容的提问来源于stack exchange，提问作者Piyush Shrivastava