如何将DataFrame行转为List/Map并避免使用列索引访问字段？

这个需求太实用了！用列名代替索引不仅代码可读性拉满，后续就算DataFrame列顺序调整也不会出问题，给你几个靠谱的实现方案：

方法1：用Row的getAs方法直接按列名取值 #

Spark的Row对象自带getAs[T]方法，能直接通过列名获取对应类型的值，彻底摆脱索引依赖：

df.foreach(row => {
  val id = row.getAs[Int]("id") // 指定类型更安全，也可以省略类型让Scala自动推断
  val `type` = row.getAs[String]("type") // 注意type是Scala关键字，要用反引号包裹
  val list = List("id" -> id, "type" -> `type`)
  saveObj(list)
})

方法2：把Row转换成Map[String, Any] #

如果需要更灵活的键值对访问，可以直接把Row转成Map，这样就能像操作普通Map一样通过键取值：

import org.apache.spark.sql.Row
import scala.collection.JavaConverters._

df.foreach(row => {
  // 生成包含所有列的键值对Map，也可以只传入指定列名列表
  val rowMap = row.getValuesMap[Any](df.columns)
  val list = rowMap.toList // 直接转成符合要求的List[(String, Any)]
  saveObj(list)
})

之后你在saveObj里直接用list.toMap("id")就能拿到对应值，非常方便。

方法3：用Case Class实现类型安全的转换 #

如果你的DataFrame结构固定，强烈推荐用Case Class封装数据，既能避免索引问题，还能获得编译时类型检查的保障：

// 先定义和DataFrame结构匹配的Case Class
case class Record(id: Int, `type`: String, count: Int)

// 把DataFrame转成Dataset[Record]后遍历
df.as[Record].foreach(record => {
  val list = List("id" -> record.id, "type" -> record.`type`)
  saveObj(list)
})

这种方式代码最清晰，后续维护起来也省心，还能提前发现类型不匹配的问题。

内容的提问来源于stack exchange，提问作者ScalaBoy