AWS RDS快照导出到S3为Parquet格式时表拆分相关问题咨询

通过start_export_task接口触发的RDS快照导出到S3任务生成的.parquet拆分文件相关问题解答如下：

数据完整性相关疑问 #

• 所有拆分后的Parquet文件完整覆盖原表全部行数据，不存在遗漏
• 数据无重复、无重叠：RDS导出服务采用行级无重叠拆分逻辑，单条数据仅会写入一个Parquet文件中

文件大小不均的原因 #

RDS快照导出是多线程并行处理任务，底层会拆分快照的存储数据块分配给不同工作线程处理，每个线程处理完对应数据段后直接生成独立的Parquet文件，大小不均属于正常现象，主要原因有两点：

• 不同数据段的内容压缩率差异大：包含大量空值、短文本的数据段压缩后体积很小，包含长文本、二进制字段的数据段压缩后体积更大
• 并行任务调度的动态分配逻辑会导致不同线程处理的数据量不完全均等，最终输出的文件大小就会呈现看似随机的状态

拆分逻辑的控制规则 #

目前AWS RDS快照导出服务的拆分逻辑为托管实现，没有对外暴露可直接配置的拆分粒度参数，没有公开参数可以直接调整输出文件的大小规则。

相关文档查找说明 #

你查阅的单Parquet文件内部结构、Spark分区发现相关的通用文档，确实和该场景不匹配。该目录结构及文件拆分规则是AWS RDS快照导出服务的专有实现，不属于通用Parquet规范的范畴，相关说明仅收录在AWS官方的RDS用户指南中，通用Parquet生态的文档不会覆盖该云服务的专属逻辑。

内容的提问来源于stack exchange，提问作者Liam Hanninen