Dataproc Serverless配置Spark属性无法连接外部Hive Metastore求助

我使用GCP Postgres实例作为Dataproc集群的外部Hive Metastore，希望将其用于Dataproc Serverless作业，目前已完成以下操作：

• 通过服务账号、子网URI访问项目资源
• 实现Serverless Spark批处理连接到Dataproc集群关联的PHS
• 构建并推送包含上述功能的自定义镜像到容器注册表

原本以为配置Spark属性spark.hadoop.hive.metastore.uris就能让Serverless Spark作业连接到Dataproc集群的Thrift服务器，但作业并未尝试建立连接，反而报错：

Required table missing : "DBS" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables"

而普通Dataproc Spark作业的日志显示已成功连接：

INFO hive.metastore: Trying to connect to metastore with URI thrift://cluster-master-node:9083

作业通过Airflow中继承DataprocCreateBatchOperator的自定义类启动，使用的batch配置如下：

{
    "spark_batch": {
        "jar_file_uris": [
            "gs://bucket/path/to/jarFileObject.jar"
        ],
        "main_class": "com.package.MainClass",
        "args": [
            "--args=for",
            "--spark=job"
        ]
    },
    "runtime_config": {
        "version": "1.1",
        "properties": {
            "spark.hadoop.hive.metastore.uris": "thrift://cluster-master-node:9083",
            "spark.sql.warehouse.dir": "gs://bucket/warehosue/dir",
            "spark.hadoop.metastore.catalog.default":"hive_metastore"
        },
        "container_image": "gcr.io/PROJECT_ID/path/image:latest"
    },
    "environment_config": {
        "execution_config": {
            "service_account": "service_account",
            "subnetwork_uri": "subnetwork_uri"
        },
        "peripherals_config": {
            "spark_history_server_config": {
                "dataproc_cluster": "projects/PROJECT_ID/regions/REGION/clusters/cluster-name"
            }
        }
    },
    "labels": {
        "job_name": "job_name"
    }
}

1. 修正Spark属性配置 #

报错说明Serverless作业未正确连接到外部Thrift metastore，反而尝试使用内置Derby metastore（DataNucleus错误是Derby默认行为）。需调整以下Spark属性：

• 添加spark.sql.catalog.hive_metastore并设置为org.apache.spark.sql.hive.HiveCatalog
• 确保spark.hadoop.hive.metastore.uris指向正确的Dataproc集群Thrift服务地址（Serverless作业需与Dataproc集群在同一VPC或通过VPC peering连通，保证9083端口可达）
• 添加spark.hive.metastore.client.factory.class指定Dataproc专属的metastore客户端工厂类

修改后的runtime_config.properties示例：

"properties": {
    "spark.hadoop.hive.metastore.uris": "thrift://cluster-master-node:9083",
    "spark.sql.warehouse.dir": "gs://bucket/warehosue/dir",
    "spark.sql.catalog.hive_metastore": "org.apache.spark.sql.hive.HiveCatalog",
    "spark.sql.catalog.spark_catalog": "org.apache.spark.sql.hive.HiveCatalog",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.hadoop.hive.metastore.DataprocHiveMetastoreClientFactory"
}

2. 验证自定义镜像配置 #

• 确保镜像基于官方Dataproc Serverless镜像（如gcr.io/dataproc-serverless/spark/runtime:1.1）构建，避免依赖缺失
• 检查镜像中是否包含DataprocHiveMetastoreClientFactory对应的jar包，以及Hive、GCS连接器相关依赖

3. 网络连通性检查 #

• 确认Serverless作业子网与Dataproc集群子网在同一VPC，或已配置VPC peering
• 给服务账号授予roles/compute.networkUser权限，确保能访问集群节点
• 检查Dataproc集群的防火墙规则，允许来自Serverless作业子网的9083端口流量

4. 日志深度排查 #

在Cloud Logging中搜索Serverless作业的完整日志，重点查找：

• Thrift metastore连接失败的具体原因（如超时、连接拒绝）
• Hive Catalog初始化日志，确认是否加载了指定的metastore URI

内容的提问来源于stack exchange，提问作者Jon