使用PyIceberg与AWS Glue创建Iceberg表失败的问题排查

问题代码 #

glue_database_name = "alex_iceberg_test_db"
glue_catalog_uri = "s3://alex-iceberg-test-storage"
my_namespace = 'alex_db'


# Instantiate glue catalog
catalog = load_catalog("glue", **{"type": "glue", 
                                  "s3.region": "region", 
                                  "profile": "ALEX",
                                  "s3.access-key-id": "XXX",
                                  "s3.secret-access-key": "YYY"})


# Define the Iceberg schema
schema = Schema(
    NestedField(field_id=1, name="data", field_type=StringType(), required=False)        
)


## Create the Iceberg table using the Iceberg catalog
table_name = 'test_1'
catalog.create_table(
    identifier=f'{my_namespace}.{table_name}',
    location=glue_catalog_uri,
    schema=schema
)

执行错误 #

OSError: When getting information for key 'metadata/00000-5df640cc-b47c-4b39-b578-07113565dab5.metadata.json' in bucket 'alex-iceberg-test-storage': AWS Error ACCESS_DENIED during HeadObject operation: No response body.

核心问题解答 #

1. 系统为何会查找该文件？ #

Iceberg采用版本化元数据管理机制，metadata/xxxx.metadata.json是表的初始元数据文件，包含表结构、存储位置、分区规则等核心定义。调用create_table()时，Iceberg会执行两个关键操作：

• 先校验目标存储路径下是否已有同名表的元数据（避免重复创建冲突），触发HeadObject操作检查该文件状态
• 校验通过后，自动生成这个初始元数据文件并写入S3，过程中也会对该文件进行状态确认

你遇到的错误本质是权限不足，导致Iceberg无法完成元数据文件的校验或写入，而非文件本身是否存在的问题——即使文件不存在，只要权限足够，Iceberg会自动创建它。

2. 该文件应由谁来创建？ #

这个元数据文件是由Iceberg框架在执行create_table()操作时自动生成并写入S3的，不需要手动创建。解决当前问题的关键是修复AWS凭证的权限：

• 确保代码中使用的Access Key拥有目标S3桶的s3:HeadObject、s3:PutObject权限，权限范围需覆盖metadata/路径下的所有对象
• 确认权限策略的生效区域与代码中s3.region配置一致
• 检查AWS Profile ALEX与硬编码的Access Key是否冲突，避免凭证混乱

内容的提问来源于stack exchange，提问作者Alex L