如何基于@DataSchema创建空DataFrame<MySchema>并添加行？

你遇到的问题是因为emptyDataFrame<MySchema>()没有根据你的@DataSchema类生成对应的列结构，导致空DataFrame的列数为0，触发append操作时的除零异常。下面是两种靠谱的解决方法：

方法1：通过反射生成匹配Schema的空DataFrame #

如果是Spark环境（Scala），可以借助反射获取MySchema的结构，再创建带列定义的空DataFrame：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.catalyst.ScalaReflection
import org.apache.spark.sql.Row

// 你的@DataSchema标注的case class示例
case class MySchema(id: Int, username: String)

val spark = SparkSession.builder().master("local[*]").getOrCreate()
// 反射获取MySchema的StructType
val schema = ScalaReflection.schemaFor[MySchema].dataType.asInstanceOf[org.apache.spark.sql.types.StructType]
// 创建带正确列结构的空DataFrame
val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema).as[MySchema]

方法2：生成临时行再过滤为空 #

如果不想用反射，可以先创建包含一行示例数据的DataFrame，再过滤所有行，这样能保留完整的列结构：

import spark.implicits._

// 基于示例行生成DataFrame，再过滤为空
val emptyDf = Seq(MySchema(0, "placeholder")).toDF().filter("false").as[MySchema]

正确添加行的方式 #

拿到带列结构的空DataFrame后，就可以用unionByName（Spark推荐，避免列顺序问题）或者append来添加行：

// 准备要添加的行数据
val newRecord = MySchema(1, "john_doe")
// 添加行到空DataFrame
val updatedDf = emptyDf.unionByName(Seq(newRecord).toDF().as[MySchema])

核心原则就是：空DataFrame必须和MySchema的列结构完全匹配，不能是无列的空对象。

内容的提问来源于stack exchange，提问作者David Soroko