Scala中如何将任意长度的Seq转换为Spark DataFrame？

你当前用Tuple转换的方式只能适配固定长度的嵌套Seq，下面两种方法可以动态适配任意长度（只要所有内层Seq长度一致）：

方法一：手动构建Row与StructType Schema #

这种方法直接基于Spark底层API，性能更优，且不依赖反射：

import org.apache.spark.sql.{Row, SparkSession}
import org.apache.spark.sql.types.{StringType, StructField, StructType}

val spark = SparkSession.builder().appName("SeqToDF").master("local[*]").getOrCreate()

// 示例数据
val data: Seq[Seq[String]] = Seq(Seq("1", "2", "3"), Seq("4", "5", "6"))

// 动态生成列名和Schema
val colNum = data.head.length
val schema = StructType(
  (1 to colNum).map(idx => StructField(s"col$idx", StringType, nullable = true))
)

// 将每个内层Seq转为Row对象
val rowData = data.map(Row.fromSeq)

// 创建DataFrame
val df = spark.createDataFrame(spark.sparkContext.parallelize(rowData), schema)

df.show()

输出会自动生成col1、col2、col3这类对应数量的列，不管内层Seq长度是多少，都能自动匹配列数。

方法二：利用Scala Product特性动态转换 #

Tuple本质是Scala Product trait的子类，我们可以通过反射动态生成对应长度的Product实例，兼容toDF()的用法：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder().appName("SeqToDF").master("local[*]").getOrCreate()
import spark.implicits._

// 示例数据
val data: Seq[Seq[String]] = Seq(Seq("1", "2", "3"), Seq("4", "5", "6"))

// 动态将Seq转为对应长度的Product（模拟Tuple）
val productSeq = data.map { seq =>
  val tupleClazz = Class.forName(s"scala.Tuple${seq.length}")
  tupleClazz.getConstructor(seq.map(_.getClass): _*)
            .newInstance(seq.map(_.asInstanceOf[AnyRef]): _*)
            .asInstanceOf[Product]
}

// 自定义列名并转换为DataFrame
val colNames = (1 to data.head.length).map(s"col$_")
val df = productSeq.toDF(colNames: _*)

df.show()

这种方法更贴近你原本用toDF()的习惯，但因为用到反射，性能略逊于第一种方法，适合快速实现场景。

内容的提问来源于stack exchange，提问作者Dark Matter