如何让Spark Session复用已初始化的Iceberg JdbcCatalog？

要让Spark Session复用已通过Iceberg API创建的JdbcCatalog，需要补充关键配置并确保参数一致性：

1. 添加初始化控制参数 #

在Spark配置中加入spark.sql.catalog.myIcebergCatalog.initialize并设为false，该参数会阻止Spark尝试重新创建Iceberg的元数据表（如ICEBERG_TABLES），转而直接复用已存在的元数据：

.appName("Iceberg Catalog Example")
.config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
.config("spark.sql.catalog.myIcebergCatalog", "org.apache.iceberg.spark.SparkCatalog")
.config("spark.sql.catalog.myIcebergCatalog.catalog-impl", "org.apache.iceberg.jdbc.JdbcCatalog")
.config("spark.sql.catalog.myIcebergCatalog.url", "MY JDBC H2 URI that is used with iceberg JDBCATALOG")
.config("spark.sql.catalog.myIcebergCatalog.user", "myuser")
.config("spark.sql.catalog.myIcebergCatalog.password", "mypassword")
.config("spark.sql.catalog.myIcebergCatalog.catalog-name", "mycatalog")
.config("spark.sql.catalog.myIcebergCatalog.default-database", "mydatabase")
// 新增：禁止Spark初始化Catalog元数据表
.config("spark.sql.catalog.myIcebergCatalog.initialize", "false")
.getOrCreate()

2. 确保核心参数完全匹配 #

必须保证Spark配置中的以下参数和你通过Iceberg API创建JdbcCatalog时的参数完全一致：

• catalog-name：与手动创建Catalog时指定的名称完全相同
• url、user、password：H2数据库的连接信息无差异
• default-database：对应已创建的数据库名称

原理说明 #

通过Iceberg API手动初始化JdbcCatalog时，已在H2中创建了ICEBERG_TABLES、ICEBERG_NAMESPACES等元数据管理表。Spark默认会执行Catalog初始化流程（创建这些元数据表），因此触发"表已存在"的报错。设置initialize=false后，Spark会跳过初始化步骤，直接连接并复用已有的JdbcCatalog元数据。

内容的提问来源于stack exchange，提问作者Ishan Das