Dataproc Spark Job偶发Iceberg Jar类找不到异常，求解决方法

这种偶发的ClassNotFoundException通常是依赖包下载不完整或集群初始化时配置加载顺序冲突导致的——Dataproc启动时自动拉取Maven依赖可能因网络波动、仓库缓存异常等原因失败，而Spark扩展配置会在依赖未完全加载时提前触发类查找。

解决方案 #

1. 预存Iceberg依赖包到GCS，直接指定Jar路径 #

避免依赖Maven仓库的动态下载，提前将Iceberg runtime Jar包上传到GCS存储桶，然后在集群配置中用spark:spark.jars指定GCS路径，确保依赖包100%可用：

"properties": {
    "dataproc:pip.packages": "google-cloud-secret-manager==2.15.0",
    "spark:spark.jars": "gs://your-bucket/path/iceberg-spark-runtime-3.3_2.12-1.3.0.jar",
    "spark:spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
    "spark:spark.sql.catalog.spark_catalog": "org.apache.iceberg.spark.SparkSessionCatalog",
    "spark:spark.sql.catalog.spark_catalog.type": "hive"
}

注：可从Maven Central下载对应版本的Jar包后上传到GCS。

2. 强制依赖包提前加载，调整类路径配置 #

在集群配置中添加spark.driver.extraClassPath和spark.executor.extraClassPath，确保Iceberg Jar包被优先加入类路径：

"properties": {
    "dataproc:pip.packages": "google-cloud-secret-manager==2.15.0",
    "spark:spark.jars.packages": "org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.3.0",
    "spark:spark.driver.extraClassPath": "/usr/lib/spark/jars/iceberg-*.jar",
    "spark:spark.executor.extraClassPath": "/usr/lib/spark/jars/iceberg-*.jar",
    "spark:spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
    "spark:spark.sql.catalog.spark_catalog": "org.apache.iceberg.spark.SparkSessionCatalog",
    "spark:spark.sql.catalog.spark_catalog.type": "hive"
}

Dataproc会将spark.jars.packages拉取的Jar包存放在/usr/lib/spark/jars/目录下，通配符可匹配所有Iceberg相关Jar。

3. 验证版本兼容性 #

确保Iceberg版本与Dataproc集群的Spark版本完全匹配：

• 你使用的iceberg-spark-runtime-3.3_2.12:1.3.0对应Spark 3.3.x版本，因此必须创建Dataproc 2.1.x或更高版本的集群（Dataproc 2.1默认搭载Spark 3.3）。如果集群Spark版本低于3.3，会出现类不兼容或找不到的问题。

4. 使用Dataproc初始化动作确保依赖加载完成 #

创建初始化动作脚本（如gs://your-bucket/init-iceberg.sh），在集群启动时手动下载并安装Iceberg依赖：

#!/bin/bash
set -euo pipefail

# 下载Iceberg Jar到Spark的Jar目录
wget -P /usr/lib/spark/jars/ https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-spark-runtime-3.3_2.12/1.3.0/iceberg-spark-runtime-3.3_2.12-1.3.0.jar

然后在集群创建时指定初始化动作：

"configurations": {
    "initializationActions": [
        {
            "executableFile": "gs://your-bucket/init-iceberg.sh"
        }
    ]
}

这种方式能完全控制依赖的加载时机，避免动态下载的不确定性。

内容的提问来源于stack exchange，提问作者suisen