Glue Catalog中Iceberg表元数据修复及快照过期方法咨询

元数据缺失导致select *失败的修复 #

1. 确认当前元数据状态：
   执行DESCRIBE EXTENDED <your_table_name>，查看metadata_location字段，复制路径到S3控制台检查该元数据文件是否存在。
2. 手动指定有效元数据文件：
   如果找到最新的完整元数据文件（比如s3://your-bucket/iceberg-table/metadata/xxx.metadata.json），执行：

   ALTER TABLE <your_table_name> SET TBLPROPERTIES ('metadata_location'='s3://path/to/valid/latest.metadata.json')
   

   注意：必须保证这个元数据文件未损坏，否则会引发更严重的问题。
3. 验证修复：
   执行SELECT COUNT(*) FROM <your_table_name>测试是否能正常读取数据。

修复REWRITE_MANIFESTS语法错误 #

EMR 7.7集成的Iceberg使用存储过程语法，而非ALTER TABLE ... EXECUTE格式，正确写法：

-- 指定库表完整路径
CALL spark_catalog.system.rewrite_manifests('<db_name>.<table_name>')
-- 当前会话已切换到目标库时可简化
CALL system.rewrite_manifests('<table_name>')

修复expire_snapshots语法错误 #

同样使用标准Iceberg存储过程，正确参数格式：

CALL spark_catalog.system.expire_snapshots(
  table => '<db_name>.<table_name>',
  older_than => TIMESTAMP '2024-01-01 00:00:00', -- 替换为你要过期的快照截止时间
  retain_last => 5 -- 强制保留最新的5个快照，防止误删全部有效快照
)

额外提醒 #

• 确认EMR集群的IAM角色拥有Glue Catalog读写权限，以及Iceberg表存储S3路径的全权限。
• 执行存储过程前，先运行REFRESH TABLE <your_table_name>刷新表元数据，避免读取缓存的旧信息。
• 如果元数据文件完全丢失，只能从最近的快照备份恢复，或者重新建表导入数据。

内容的提问来源于stack exchange，提问作者user3858193