Impala执行INSERT INTO SELECT跨表插入时如何维持分区文件大小一致
根因分析
文件数减少是因为Hive/Impala执行INSERT插入时,默认开启了小文件自动合并逻辑,同时查询执行的并行度配置低于原表写入时的并行度,导致40个输入文件被合并为10个输出文件。
解决操作方案
方案1:调整插入参数保证文件大小一致
如果你使用Impala执行插入语句
- 先查询原表对应分区的平均单文件大小,执行HDFS命令:
hdfs dfs -ls /user/hive/warehouse/original_table/partition_key=xxx | awk '{sum+=$5;cnt++} END{print int(sum/cnt)}'
命令输出的数值即为单文件平均字节数。 - 插入前执行以下参数配置:
-- 设置输出Parquet文件大小和原表平均大小一致,<avg_size>替换为上一步查询到的数值 SET parquet_file_size = <avg_size>; -- 关闭插入时的自动小文件拼接逻辑 SET enable_insert_stitching = false; -- 设置Parquet文件切片阈值和单文件大小一致,避免输入文件被拆分或合并 SET min_parquet_split_size = <avg_size>; SET max_parquet_split_size = <avg_size>;
- 执行插入语句即可:
INSERT INTO NEW_TABLE SELECT * FROM ORIGINAL_TABLE;
如果你使用Hive执行插入语句
- 第一步同样先查询原表单文件平均大小,操作和上面一致。
- 插入前执行以下参数配置:
-- 关闭Hive自动合并小文件开关 set hive.merge.mapfiles = false; set hive.merge.mapredfiles = false; set hive.merge.tezfiles = false; -- 设置Parquet块大小和原表单文件大小一致 set parquet.block.size = <avg_size>; -- 匹配和原表写入一致的并行度,保证输出40个文件 -- 使用MR引擎时设置 set mapreduce.job.reduces=40; -- 使用Spark引擎时设置 set spark.sql.shuffle.partitions=40;
- 执行插入语句即可。
方案2:直接拷贝文件(最稳妥,100%匹配原文件)
如果不需要对数据做任何转换,直接通过HDFS命令拷贝原表分区文件到新表对应分区路径下,完全避免插入逻辑的合并行为:
- 执行文件拷贝:
hdfs dfs -cp /user/hive/warehouse/original_table/partition_key=xxx/* /user/hive/warehouse/new_table/partition_key=xxx/ - 刷新新表元数据:
MSCK REPAIR TABLE NEW_TABLE;
后续写入配置建议
如果后续还要向新表写入数据,建议修改新表的表属性,固定Parquet文件大小和原表一致:ALTER TABLE NEW_TABLE SET TBLPROPERTIES ('parquet.file.size'='<avg_size>');
内容的提问来源于stack exchange,提问作者Murali Krishna
相关产品推荐
相关产品推荐

