Iceberg写入S3生成大量子文件夹的原因及优化方法咨询

原因分析 #

你当前代码里设置了write.distribution-mode为hash，这个配置会让Iceberg按照分区键的哈希值将数据拆分到多个分桶子文件夹（也就是你看到的001/002这类目录），目的是优化查询性能，但会破坏你期望的分区目录结构。

解决方案 #

移除write.distribution-mode配置项，或者将其值改为none，这样Iceberg就不会创建额外的分桶子文件夹，数据会直接写入对应的分区目录下。

修改后的代码示例：

result_df.writeTo(catalog_table_name) \
                .tableProperty("write.format.default", "parquet") \
                .tableProperty("format-version", "2") \
                .tableProperty("write.merge.mode", "copy-on-write") \
                .tableProperty("write.object-storage.path-style.enabled", "true")\
                .partitionedBy("srce", "regon", "coury", "datte") \
                .overwritePartitions()

或者显式设置为none：

result_df.writeTo(catalog_table_name) \
                .tableProperty("write.format.default", "parquet") \
                .tableProperty("write.distribution-mode", "none") \
                .tableProperty("format-version", "2") \
                .tableProperty("write.merge.mode", "copy-on-write") \
                .tableProperty("write.object-storage.path-style.enabled", "true")\
                .partitionedBy("srce", "regon", "coury", "datte") \
                .overwritePartitions()

补充说明 #

• 如果你的场景确实需要分桶优化查询，建议使用Iceberg的分桶表配置（bucketedBy），分桶表会在分区目录下创建分桶文件，不会生成额外的子文件夹层级。
• 确认Glue Catalog的Iceberg表配置中没有其他强制生成子文件夹的参数，比如write.target-file-size-bytes这类控制文件大小的参数只会生成更多文件，不会创建子文件夹。

内容的提问来源于stack exchange，提问作者user3858193