PySpark写入S3分区时，如何覆盖指定子分区并写入新数据？

可行方案汇总 #

方案1：分阶段精准清理+动态写入 #

• 先通过S3 CLI或SDK定向删除目标旧分区：
  用AWS CLI执行示例：

  aws s3 rm s3://your-bucket/data-path/year=2022/month=6/day=1/ --recursive
  aws s3 rm s3://your-bucket/data-path/year=2022/month=6/day=2/ --recursive
  

  也可以用Python的boto3编写脚本批量处理，替代手动操作。
• 再用dynamic覆盖模式写入2022-06-03的批次数据，仅新增该分区，不会触动3月的旧分区。

方案2：Spark分区过滤+静态覆盖（限定范围） #

• 若用Spark处理，先读取需要保留的3月分区数据，合并新的6月3日数据，最后用静态覆盖模式写入：

  # 读取需保留的3月数据
  march_data = spark.read.parquet("s3://your-bucket/data-path/year=2022/month=3/*")
  # 读取6月3日新数据
  june3_data = spark.read.parquet("s3://your-input-path/2022-06-03/")
  # 合并数据集
  combined_data = march_data.unionByName(june3_data)
  # 静态覆盖写入，指定分区列确保仅保留目标分区
  combined_data.write.partitionBy("year", "month", "day") \
    .mode("overwrite") \
    .option("path", "s3://your-bucket/data-path/") \
    .option("spark.sql.sources.partitionOverwriteMode", "static")
  

  此方式相当于重建需保留的分区，只要过滤逻辑正确，不会误删其他分区。

方案3：基于Delta Lake的事务管理 #

• 将Parquet数据转换为Delta Lake格式，利用其ACID事务能力管理分区：
  • 先删除指定旧分区数据：

    DELETE FROM delta.`s3://your-bucket/data-path/` 
    WHERE year=2022 AND month=6 AND day IN (1,2)
    

  • 再写入6月3日新数据：

    june3_data.write.format("delta").mode("append") \
      .partitionBy("year", "month", "day") \
      .save("s3://your-bucket/data-path/")
    

  Delta Lake会自动维护分区元数据，确保旧分区被清理、新分区正常添加，同时不影响其他分区。

内容的提问来源于stack exchange，提问作者Dozel