创建Apache Iceberg表能否自定义field-id？AWS Glue场景问询

问题1：通用Iceberg Catalog是否支持用户自定义Field-ID？ #

Apache Iceberg的核心规范明确支持用户自定义field-id，你遇到的自动替换行为并非通用Iceberg Catalog的预期表现。在标准Iceberg实现（如Hive Catalog、REST Catalog）中，只要用户指定的field-id满足唯一性要求，Catalog会完全尊重用户提供的值，不会自动生成新id覆盖。

你碰到的情况大概率是AWS Glue Data Catalog的定制化实现限制。Glue作为Iceberg的兼容Catalog，在处理field-id时可能存在强制自动生成的逻辑，这属于Glue的特定行为，而非Iceberg通用标准。

问题2：Field-ID生成的规则（除唯一性外） #

Iceberg对field-id的要求除了全局唯一性，还有几个关键规则需要遵守：

• 禁止使用0：Iceberg保留id 0作为特殊标识，用于表示未分配的字段
• 必须是正整数：field-id不允许使用负数
• 已删除字段的id不可复用：即使字段被从schema中移除，其id会被标记为已使用，后续不能再用于新字段（避免schema演进时出现歧义）
• 嵌套字段id需全局唯一：Struct、Array等复杂类型的子字段id，不能与表中其他任何字段（包括其他嵌套结构的子字段）重复

如果你的field-id生成算法违反了以上任意一条，Glue Data Catalog可能会拒绝你的输入并自动替换为合规的id。比如使用了0/负数，或者重复了已存在的id，都会触发这种替换行为。

内容的提问来源于stack exchange，提问作者pedorro