如何控制Hive分区数据集的文件数量、单文件大小及文件行数？

前置基准计算 #

首先需要确定单128MB文件对应的合理行数：

• 取目标数据集1000~10000行样本，统计样本总字节数，计算出单行数据平均大小avg_row_size
• 单文件合理行数公式：128 * 1024 * 1024 / avg_row_size，实际运行时允许上下10%的浮动误差

写入阶段自动控制（优先推荐） #

Spark写入Hive场景 #

直接配置两个参数即可实现精准控制：

• 设置spark.sql.files.maxRecordsPerFile = 刚才计算的单文件目标行数，直接限制每个输出文件的最大行数
• 同时配置分片大小参数：

spark.hadoop.mapreduce.input.fileinputformat.split.minsize=134217728
spark.hadoop.mapreduce.input.fileinputformat.split.maxsize=134217728

如果存在数据倾斜，写入时新增distribute by cast(rand()*N as int)逻辑，N等于当前分区总数据量/128MB，保证数据均匀分发到各计算节点，避免单个文件过大/过小。

Hive原生SQL写入场景 #

配置Reducer处理字节阈值即可控制输出文件大小：

• 设置hive.exec.reducers.bytes.per.reducer=134217728，每个Reducer固定处理128MB数据，输出文件大小自然贴合目标
• 若需严格控制行数，可配合hive.exec.max.dynamic.partitions.pernode参数，写入时按均匀字段做分发，避免数据倾斜导致的文件大小异常。

存量分区文件优化方案 #

对于已经存在的小文件过多、文件大小不符合要求的分区：

• 优先使用Hive自带合并命令：ALTER TABLE 表名 PARTITION (分区字段='分区值') CONCATENATE;，该命令自动将小文件合并为接近128MB的标准文件，合并过程不影响现有分区的正常查询，也不会出现数据一致性问题
• 若你的文件格式不支持CONCATENATE操作，可将目标分区数据全量查询后，按写入阶段的参数要求重写到临时分区，校验行数和数据一致性后，替换原分区即可。

扩容阶段安全注意事项 #

• 扩容写入前重新校验单行数据平均大小：如果数据集有新增字段、字段存储内容变长等调整，重新计算单文件目标行数，不要直接沿用历史计算值
• 分区粒度匹配数据量级：单分区数据量超过10GB时建议拆分子分区，避免单个分区文件数量过多影响查询性能；单分区数据量不足10MB时建议合并分区，避免小文件占用过多NameNode内存
• 每次扩容写入后做巡检：执行dfs -du -h /user/hive/warehouse/你的表路径/对应分区 查看分区下文件大小，确保90%以上的文件处于110MB~140MB的合理区间，不符合要求的及时调整参数合并。

内容的提问来源于stack exchange，提问作者vanhooser