Dataproc中Spark Session连接BigLake Iceberg表配置问题求助

你的核心问题是Spark会话默认仍使用内置的Hive Catalog，并未切换到配置的BigLake Catalog，同时部分配置参数有误，导致无法关联到已创建的Iceberg元数据。

配置错误点分析 #

1. 未指定默认Catalog：Spark默认使用spark_catalog（基于Hive实现），你配置的biglakecatalog只是自定义Catalog，但未将其设为默认，所以执行SHOW DATABASES时查询的是默认Hive Catalog而非BigLake。
2. BigLake Catalog名称参数错误：配置中的blms_catalog不是正确参数，应该用biglake.catalog.name指定你在BigQuery中创建的BigLake元数据存储名称。
3. 依赖加载冲突：同时指定spark.jars.packages和spark.jars可能导致依赖版本冲突，建议直接使用spark.jars加载BigLake预打包的集成依赖包（已包含对应版本的Iceberg runtime）。

修正后的Spark会话配置 #

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("IcebergBigLakeExample") \
    # 将BigLake Catalog设为Spark默认Catalog
    .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.spark_catalog.catalog-impl", "org.apache.iceberg.gcp.biglake.BigLakeCatalog") \
    # 替换为你的GCP项目ID
    .config("spark.sql.catalog.spark_catalog.gcp_project", "playground") \
    # 替换为BigLake元数据存储所在的GCP区域
    .config("spark.sql.catalog.spark_catalog.gcp_location", "europe-west1") \
    # 替换为你在BigQuery中创建的BigLake元数据存储名称
    .config("spark.sql.catalog.spark_catalog.biglake.catalog.name", "你的BigLake元数据存储名称") \
    # 替换为Iceberg表数据存储的GCS路径（需与BigQuery建表时的路径一致）
    .config("spark.sql.catalog.spark_catalog.warehouse", "gs://path/iceberg") \
    # 加载BigLake与Iceberg集成的预打包依赖
    .config("spark.jars", "gs://spark-lib/biglake/biglake-catalog-iceberg1.2.0-0.1.1-with-dependencies.jar") \
    .getOrCreate()

验证与操作说明 #

1. 重新初始化会话后，执行SHOW DATABASES即可看到BigLake中已有的命名空间。
2. 若未将BigLake设为默认Catalog，操作时需显式指定Catalog：

   -- 查看BigLake Catalog下的数据库
   SHOW DATABASES IN biglakecatalog;
   -- 在BigLake Catalog下创建数据库
   CREATE DATABASE IF NOT EXISTS biglakecatalog.test;
   

3. 访问已创建的Iceberg表时，需使用完整的三级命名格式：

   SELECT * FROM biglakecatalog.your_database.your_iceberg_table;
   

额外注意事项 #

• 确保Dataproc集群的服务账号拥有访问BigLake元数据存储和对应GCS存储桶的权限（需包含biglake.catalogs.get、biglake.tables.get等权限）。
• 确认biglake.catalog.name参数值与你在BigQuery中创建的BigLake元数据存储名称完全一致。

内容的提问来源于stack exchange，提问作者RyuHayabusa