Parquet文件追加数据的方法及该操作对分区机制的影响

首先明确基础概念：单个Parquet文件是不可修改的列式存储文件，本身不支持向已生成的单个.parquet文件内追加行数据。日常所说的「Parquet追加写入」，实际指的是对Parquet数据集（同一根目录下统一管理的多个Parquet文件集合）的追加，这个场景完全支持定期写入：你每次新增数据时，只需要往数据集根目录下新增符合格式要求的Parquet文件即可，不需要修改任何原有存量文件。

• 两者的核心关联：分区本质是按指定分区键的取值，对数据集做目录层级的拆分，比如按region分区就会生成region=beijing/、region=shanghai/这类子目录，每个子目录下仅存储对应分区值的Parquet文件。追加操作写入新数据时，会根据分区键的取值，把数据直接写入对应分区的子目录下，完全不涉及其他分区的文件操作。
• 低基数分区键的追加规则：你选定低基数列作为分区键后，后续追加新数据不需要对全量文件做重新分区。只要写入时指定的分区规则和原有规则保持一致，Spark、Flink、Hive等通用计算引擎都会自动识别现有分区结构，把新数据按分区键值自动路由到对应分区目录下新增文件，原有分区的所有文件都不会被改动。
  如果追加的新数据包含已有分区的取值，也只会在对应分区下新增文件，不会重写该分区原有数据，除非你主动指定了分区覆盖的写入模式。

内容的提问来源于stack exchange，提问作者Abhishek Malik