You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Iceberg表rewrite_data_files过程失效,分区文件异常求助

Iceberg表更新后文件膨胀、rewrite无效及分区文件夹异常问题

我正在测试Iceberg表,插入了6条按long类型age列分区的记录。执行更新操作后,数据文件夹中出现了10多个数据文件。

我尝试执行以下rewrite_data_files过程来合并文件:

CALL catalog.system.rewrite_data_files(table => 'db.iceberg',
                                                            options => map(
                                                            'max-concurrent-file-group-rewrites','50',
                                                            'max-file-size-bytes','104857600000',
                                                            'min-file-size-bytes','10480',
                                                            'target-file-size-bytes','134217728',
                                                            'min-input-files', '2'))

但S3上的文件并未发生变化,还出现了同一分区列对应的两个文件夹。

我还尝试设置Merge-On-Read表属性及目标文件大小:

ALTER table catalog.db.iceberg SET TBLPROPERTIES ('write.delete.mode' = 'merge-on-read',
'delete.isolation-level' = 'snapshot', 'write.target-file-size-bytes'  = '134217728')
  • 数据文件夹文件截图:S3存储中可见大量数据文件,且存在同一age分区对应的重复文件夹
  • 表内容截图:表按age列分区,共包含6条分属不同分区的记录

理想情况下数据层应根据分区列基数生成6个文件夹,不清楚问题出在哪里,恳请协助解决。

内容的提问来源于stack exchange,提问作者shivanshu dhawan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.14 11:42:38