Spark Session配置引入Iceberg包无效，报ClassNotFoundException求助

1. 直接通过构建工具引入依赖（最可靠方案） #

放弃依赖Spark动态拉取jar包的方式，直接在项目构建配置中添加Iceberg运行时依赖，确保测试代码的类路径能直接加载到所需包：

Maven（pom.xml） #

<dependency>
    <groupId>org.apache.iceberg</groupId>
    <artifactId>iceberg-spark-runtime-3.2_2.12</artifactId>
    <version>1.1.0</version>
    <scope>test</scope>
</dependency>

Gradle（build.gradle） #

testImplementation 'org.apache.iceberg:iceberg-spark-runtime-3.2_2.12:1.1.0'

构建工具会自动将jar包纳入测试类路径，避免本地Spark模式下的类加载异常。

2. 显式配置Iceberg扩展与Catalog #

即使引入了依赖，Spark仍需明确注册Iceberg的扩展功能。在构建SparkSession时添加以下核心配置：

val sparkSession: SparkSession = SparkSession
  .builder()
  .appName(getClass.getSimpleName)
  .master("local[*]")
  // 注册Iceberg的Spark扩展
  .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
  // 配置Iceberg Catalog（以Hadoop本地仓库为例）
  .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog")
  .config("spark.sql.catalog.spark_catalog.type", "hadoop")
  .config("spark.sql.catalog.spark_catalog.warehouse", "./local-iceberg-warehouse")
  .getOrCreate()

其中Catalog的配置可根据你的测试场景调整，但spark.sql.extensions是触发Iceberg数据源注册的关键。

3. 修复本地jar包路径配置 #

如果坚持手动使用spark.jars，必须确保路径是绝对路径或相对于项目根目录的正确路径，示例：

.config("spark.jars", "/Users/xxx/projects/iceberg-spark-runtime-3.2_2.12-1.1.0.jar")

同时在IDE中，需将该jar包添加到测试模块的依赖库（如IDEA的Project Structure -> Libraries），确保测试运行时能加载到。

4. 排查依赖冲突 #

检查项目依赖树，排除可能和Iceberg版本不兼容的Spark相关依赖。比如用Maven命令查看依赖树：

mvn dependency:tree

找到冲突的依赖后，通过<exclusions>标签排除重复或版本不符的组件。

内容的提问来源于stack exchange，提问作者cheezit97