如何为Apache Hudi管理的现有Parquet数据集新增分区？

不需要全量重写所有Parquet文件，可通过以下步骤完成新增分区的操作：

• 步骤1：更新分区配置
  修改Spark任务的Hudi写入配置，将新增的分区字段添加到hoodie.datasource.write.partitionpath.field参数中。例如原分区字段为dt，新增region后，配置值改为dt,region。

• 步骤2：执行分区迁移
  使用Hudi内置的分区迁移功能调整现有数据的分区结构，无需全量重写数据。有两种常用方式：

  • Spark SQL方式：

    ALTER TABLE hudi_table ADD PARTITION (region='default')
    

    这里的default是给现有数据指定的默认分区值，可根据业务需求调整。
  • API方式：
    通过Hudi的HoodieTableMigration工具类，在Spark作业中执行迁移逻辑，指定新的分区字段和默认值，工具会自动调整现有数据的分区路径，仅修改元数据和必要的文件路径映射，不会重写所有Parquet文件。

• 后续操作
  分区迁移完成后，重启Spark写入任务，使用更新后的分区配置即可。新写入的数据会自动按照新的分区规则存储，现有数据也已适配新的分区结构。

注意事项 #

• 迁移前务必备份数据集，防止操作失误导致数据丢失
• 迁移过程中暂停所有写入任务，避免并发写入引发数据不一致
• COW类型的数据集分区迁移开销低于MOR类型，因为COW的文件结构更简洁

内容的提问来源于stack exchange，提问作者lollerskates