如何用Spark DataFrame结合partitionBy向已有Hive表追加数据

你的追加写法完全正确，可以精准实现你期望的效果——将新数据追加到目标表中，同时完整保留原有的day分区结构。

完整流程验证 #

我们可以完整复现操作并确认结果：

1. 初始创建分区表并写入数据

val df = Seq( ("day1", 1), ("day1", 2), ("day1", 3), ("day1", 4) ).toDF("day","id")
df.write.partitionBy("day").format("parquet").saveAsTable("mydb.day_table")

// 查看初始数据
spark.sql("select * from mydb.day_table").show
/*
+---+----+
| id| day|
+---+----+
|  1|day1|
|  2|day1|
|  3|day1|
|  4|day1|
+---+----+
*/

// 确认表的分区配置
spark.sql("show create table mydb.day_table").show(false)
/*
+---------------------------------------------------------------------------------------------------------------------------------------+
|createtab_stmt                                                                                                                         |
+---------------------------------------------------------------------------------------------------------------------------------------+
|CREATE TABLE `mydb`.`day_table` (`id` INT, `day` STRING) USING parquet OPTIONS ( `serialization.format` '1' ) PARTITIONED BY (day)       |
+---------------------------------------------------------------------------------------------------------------------------------------+
*/

2. 追加新分区数据
   你写的这段代码完全符合要求：

val df2 = Seq( ("day2",5), ("day2",6) ).toDF("day","id")
df2.write.mode("append").partitionBy("day").format("parquet").saveAsTable("mydb.day_table")

3. 验证最终结果
   执行查询后会得到你预期的输出：

spark.sql("select * from mydb.day_table").show(false)
/*
+---+----+
|id |day |
+---+----+
|1  |day1|
|2  |day1|
|3  |day1|
|4  |day1|
|5  |day2|
|6  |day2|
+---+----+
*/

关键逻辑说明 #

• mode("append")：明确指定追加模式，彻底避免覆盖原有分区数据
• partitionBy("day")：和建表时的分区列保持一致，Spark会自动将新数据写入对应的day=day2分区目录，不会干扰原有分区的结构和数据
• format("parquet")：和目标表的存储格式匹配，保证数据的兼容性和读写效率

生产环境注意事项 #

• 确保新DataFrame的列名、数据类型和目标表完全一致，否则可能出现写入失败或类型转换异常
• 如果是外部工具手动创建分区目录后写入数据，建议执行spark.sql("MSCK REPAIR TABLE mydb.day_table")同步元数据；但使用saveAsTable追加时，Spark一般会自动同步分区元数据，这个操作属于兜底验证

内容的提问来源于stack exchange，提问作者Regressor