如何将PySpark DataFrame追加到已有分区表的指定2022分区

要将DataFrame追加到tbl1的2022分区，需先对齐DataFrame与表的结构，再执行追加写入，具体操作如下：

1. 调整DataFrame结构匹配表定义 #

原DataFrame的列名id与表的tran列不匹配，且缺少分区列year，需先做结构调整：

# 重命名id列为tran，添加固定值为'2022'的year分区列
df_aligned = df.withColumnRenamed("id", "tran") \
               .withColumn("year", lit("2022"))

2. 以追加模式写入分区表 #

使用DataFrame的write接口，指定append模式写入目标表：

# 追加写入tbl1表
df_aligned.write.mode("append").saveAsTable("tbl1")

也可以直接指定分区写入，效果一致：

df.withColumnRenamed("id", "tran") \
  .withColumn("year", lit("2022")) \
  .write.mode("append") \
  .partitionBy("year") \
  .saveAsTable("tbl1")

验证写入结果 #

执行以下代码确认数据是否成功追加：

spark.sql("select * from tbl1 where year='2022'").show()

查询结果会包含原有数据(101,500,2022)及新追加的三条数据。

内容的提问来源于stack exchange，提问作者Surendiran Balasubramanian