如何通过PySpark创建Hive分区管理表 每次运行追加数据不覆盖

前置配置 #

首先需要开启Spark的Hive动态分区支持，否则动态分区写入会触发报错：

spark.conf.set("hive.exec.dynamic.partition", "true")
spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")

核心代码（兼容你原有SQL写法逻辑） #

仅需要修改建表语句指定分区规则，其余逻辑保持和原有实现对齐即可：

df.createOrReplaceTempView("df_view")

if table_exists:
    # 追加写入，自动匹配date列对应的分区，不会覆盖任何已有数据
    spark.sql("insert into mytable select * from df_view")
else:
    # 首次运行创建按date字段分区的Hive管理表，同时写入初始数据
    spark.sql("""
        create table if not exists mytable 
        partitioned by (date)
        as select * from df_view
    """)

注意：使用CTAS语法（create table as select）创建分区表时，要求查询结果的最后一列必须是分区列（即此处的date列）。如果你的DataFrame中date列不是最后一位，可手动调整select的字段顺序，例如写成select Name, timestamp, date from df_view确保date在字段末尾即可。

可选DataFrame API写法 #

如果不想写SQL，也可以用DataFrame原生API实现，效果完全一致：

if not table_exists:
    # 首次建表写入
    df.write.partitionBy("date").saveAsTable("mytable")
else:
    # 后续追加写入
    df.write.mode("append").partitionBy("date").saveAsTable("mytable")

• 首次运行：自动创建按date分区的Hive管理表，写入当前数据对应的date分区内容，符合要求1
• 同日期重复运行：insert into/mode("append")不会覆盖已有分区数据，仅给对应date分区追加新数据，原有分区内容完全保留，符合要求2
• 新日期运行：动态分区自动识别df中的新date值，自动创建新分区写入数据，历史所有分区数据不受影响，符合要求3

内容的提问来源于stack exchange，提问作者Padfoot123