如何正确合并HDFS中parquet分区part文件以避免读取错误

hdfs dfs -getmerge 完全不适用于parquet文件的合并场景。
parquet是带有严格结构定义的二进制列式存储文件，每个独立的parquet文件都包含专属的文件头、数据页结构、元数据尾注三个核心部分，snappy压缩是作用在单文件内部的块级压缩。hdfs dfs -getmerge 是纯二进制字节流拼接逻辑，直接把多个parquet文件的字节首尾拼接后生成的新文件，完全不符合parquet格式规范，元数据结构全部被破坏，因此Spark读取时会抛出PageHeader解析失败的IO异常，属于操作逻辑错误，不存在合规的使用方式。

• 方案1：Spark任务合并（适配所有场景，灵活度最高）
  直接通过Spark读取对应分区的parquet数据，重分区后写回即可，核心逻辑参考：

  // 读取单个日期分区的数据
  val partitionDF = spark.read.parquet("hdfs://源路径/分区字段=xxx")
  // 合并为1个文件输出，保持snappy压缩
  partitionDF.coalesce(1)
    .write
    .option("compression", "snappy")
    .mode("overwrite")
    .parquet("hdfs://临时输出路径/分区字段=xxx")
  

  操作注意：先写入临时路径，验证新生成的parquet文件可正常读取后，再用HDFS命令替换原分区路径，避免数据丢失；如果需要批量处理全部分区，可以开启Spark动态分区参数，一次性批量写入所有分区。
• 方案2：Hive CONCATENATE命令（适配Hive分区表场景，无代码成本）
  如果你的parquet数据对应Hive中已经创建了映射的分区表，可以直接通过Hive命令完成合并，无需写Spark代码：

  -- 合并单个分区的小文件
  ALTER TABLE 你的表名 PARTITION(分区日期字段='xxx') CONCATENATE;
  

  该命令会自动识别parquet格式，在HDFS侧完成格式合规的文件合并，不会破坏元数据。

• 合并操作前建议先备份核心分区数据，避免操作失误导致数据损坏
• 不建议单parquet文件体积超过2GB，若单个分区数据量过大，可调整为合并为2-3个文件即可，兼顾查询性能和文件大小合理性
• 17TB全量合并建议按日期分区分批执行，避免单次任务占用资源过多导致失败

内容的提问来源于stack exchange，提问作者Makrushin Evgenii