如何在Glue Catalog的Iceberg表中添加表注释？

针对你遇到的Spark创建Iceberg表后表注释未在Glue Catalog中显示的问题，可通过以下几种方式解决：

• 创建表时直接指定表属性
  跳过Spark SQL的COMMENT子句和OPTIONS参数，改用TBLPROPERTIES定义表注释。Iceberg在Glue Catalog中会将comment属性直接映射到Glue的表注释字段，示例代码：

  spark.sql(f"""CREATE EXTERNAL TABLE IF NOT EXISTS {schema_name}.{table_name}({columns})
  USING iceberg
  PARTITIONED BY ({partition_by_create})
  LOCATION '{bucket_name}'
  TBLPROPERTIES('comment' = 'table description')""")
  

• 对已创建的表补加注释
  如果表已经创建完成，可通过ALTER TABLE语句添加或更新表注释，同步到Glue Catalog：

  spark.sql(f"""ALTER TABLE {schema_name}.{table_name} SET TBLPROPERTIES('comment' = 'updated table description')""")
  

• 确认配置与版本兼容性

  • 确保Spark配置中启用了Glue Catalog：spark.sql.catalog.glue.glueCatalog.enabled=true，且使用Iceberg 0.14及以上版本（该版本后对Glue Catalog的元数据同步支持更完善）。
  • 字段注释正常显示说明基础元数据同步无问题，表注释的核心问题是属性映射，TBLPROPERTIES是Iceberg与Glue Catalog兼容的标准写法。

内容的提问来源于stack exchange，提问作者Carlos Eduardo Bilar Rodrigues