Apache Parquet为何将元数据写入文件末尾？求官方文档表述解析

核心原因不是为了保证文件完整性，而是官方文档提到的支持单遍写入，这句话的实际含义可以拆解成以下几点：

• 单遍写入指的是生成Parquet文件时，只需要从头到尾处理一次数据，不需要多轮读写或回头修改文件内容。
• Parquet的元数据里包含了数据块的位置、各列统计信息（如最大值、最小值）、最终确认的Schema等信息。如果把元数据放在文件开头，你必须先统计完所有数据的这些信息才能写入开头的元数据——这意味着要么先遍历一遍数据收集信息，要么写完数据后再回头修改开头的内容，这两种方式都会增加IO开销，尤其是处理大数据量时效率极低。
• 将元数据放在末尾的话，你可以边写数据块，边实时收集元数据需要的信息（比如每个数据块的偏移量、计算列统计值），等所有数据写完后，再把收集好的元数据追加到文件最后。整个流程只需要一次数据遍历，不需要额外的临时存储或回头修改，极大提升了写入效率。

至于文件完整性，Parquet是通过其他机制保证的：文件开头和结尾都有固定的magic number，末尾的元数据（footer）也包含校验信息，只要文件损坏，这些标识就能快速检测出来，和元数据的位置无关。

内容的提问来源于stack exchange，提问作者spin