Iceberg表rewrite_data_files过程失效,分区文件异常求助
Iceberg表更新后文件膨胀、rewrite无效及分区文件夹异常问题
我正在测试Iceberg表,插入了6条按long类型age列分区的记录。执行更新操作后,数据文件夹中出现了10多个数据文件。
我尝试执行以下rewrite_data_files过程来合并文件:
CALL catalog.system.rewrite_data_files(table => 'db.iceberg', options => map( 'max-concurrent-file-group-rewrites','50', 'max-file-size-bytes','104857600000', 'min-file-size-bytes','10480', 'target-file-size-bytes','134217728', 'min-input-files', '2'))
但S3上的文件并未发生变化,还出现了同一分区列对应的两个文件夹。
我还尝试设置Merge-On-Read表属性及目标文件大小:
ALTER table catalog.db.iceberg SET TBLPROPERTIES ('write.delete.mode' = 'merge-on-read', 'delete.isolation-level' = 'snapshot', 'write.target-file-size-bytes' = '134217728')
- 数据文件夹文件截图:S3存储中可见大量数据文件,且存在同一
age分区对应的重复文件夹 - 表内容截图:表按
age列分区,共包含6条分属不同分区的记录
理想情况下数据层应根据分区列基数生成6个文件夹,不清楚问题出在哪里,恳请协助解决。
内容的提问来源于stack exchange,提问作者shivanshu dhawan
相关产品推荐
相关产品推荐

