Flink Hudi的CoW表未自动合并小Parquet文件求助

核心原因 #

你遇到的问题本质是：单条INSERT的极小批量写入不会触发Hudi的小文件合并逻辑，且CoW表的小文件合并依赖Compaction操作，而非单次写入时的实时合并。

你设置的hoodie.parquet.small.file.limit和hoodie.parquet.max.file.size是写入时的文件大小阈值，但单条记录生成的Parquet文件包含元数据等固定开销，所以会产生420KB左右的小文件；而合并操作需要依赖后续的Compaction任务来扫描并合并符合阈值的小文件。

具体解决方案 #

1. 开启Flink Compaction自动调度 #

CoW表的小文件合并依赖Compaction，需在表配置中显式开启自动调度：
修改建表语句的WITH参数，添加：

'compaction.enabled' = 'true',
'compaction.schedule.enabled' = 'true',
'compaction.delta_seconds' = '300' -- 每5分钟检查一次待合并小文件

Compaction任务会自动扫描所有小于hoodie.parquet.small.file.limit的文件，合并成不超过hoodie.parquet.max.file.size的文件。

2. 调整写入批次策略 #

避免逐条提交INSERT，改用批量写入减少小文件生成：

• 合并多条记录到单个INSERT语句：

INSERT INTO hudi_table
VALUES
(1695159649087,'334e26e9-8355-45cc-97c6-c31daf0df330','rider-A','driver-K',19.10,'san_francisco'),
(1695159650087,'334e26e9-8355-45cc-97c6-c31daf0df331','rider-B','driver-L',20.50,'san_francisco'),
...;

• 如果是流作业模式，设置Flink的execution.checkpointing.interval参数，让数据攒批后再提交。

3. 核对参数命名规范（针对Flink Connector） #

Hudi在Flink环境中，部分写入相关参数需要添加write.前缀（以Hudi 0.13+版本为例），建议调整参数为：

'write.parquet.small.file.limit' = '500000',
'write.parquet.max.file.size' = '1000000'

确保参数能被Flink写入逻辑正确识别。

4. 手动触发Compaction（临时应急） #

如果需要立即合并已有小文件，可通过Flink SQL手动触发：

ALTER TABLE hudi_table COMPACT;

执行后等待异步Compaction任务完成，即可看到合并后的文件。

补充说明 #

• CoW表的Compaction是异步执行的，提交后需等待数分钟才能看到合并效果；
• 测试环境的逐条插入场景本身就容易生成大量小文件，生产环境建议使用批量写入或流模式攒批。

内容的提问来源于stack exchange，提问作者oceansize