如何向带Timestamp与Id列的Spark DataFrame新增行并自动生成Id

• 你设想的「创建临时DataFrame再执行union操作」是Spark场景下的标准实现方案，因为DataFrame是不可变数据结构，不存在原地追加行的接口，该方案逻辑清晰无额外性能开销，不属于繁琐的过度设计。
• Id列的处理分两种场景，按需选择即可：

场景1：需要连续自增的Id #

先获取原DataFrame的最大Id值，新行的Id在此基础上递增，完整代码如下：

import org.apache.spark.sql.functions._
import java.sql.Timestamp

// 你已经实现的Timestamp转换
val t1 = new Timestamp(c1.getTimeInMillis)
val t2 = new Timestamp(c2.getTimeInMillis)

// 获取现有最大Id，空表时默认从0开始
val maxId = timeDF.agg(max("Id")).head().getAs[Long](0) match {
  case null => 0L
  case value => value
}

// 构造临时DataFrame，列顺序和类型与原表保持一致
val newRows = Seq(
  (maxId + 1L, t1, t2), // 此处Model和Prevision的取值可按你的实际需求调整
  (maxId + 2L, t2, t1)
)
val tempDF = spark.createDataFrame(newRows).toDF("Id", "Model", "Prevision")

// 合并得到最终DataFrame
val updatedTimeDF = timeDF.union(tempDF)

场景2：只需要Id全局唯一，不需要连续 #

可以直接用Spark内置函数生成Id，省略手动计算maxId的步骤（如果需要保证新Id大于原有所有Id，还是建议先查询maxId作为偏移量）：

val newRows = Seq((t1, t2), (t2, t1))
val tempDF = spark.createDataFrame(newRows).toDF("Model", "Prevision")
  .withColumn("Id", monotonically_increasing_id())

val updatedTimeDF = timeDF.union(tempDF)

内容的提问来源于stack exchange，提问作者Karzyfox