本地PySpark会话读写AWS Glue上Iceberg表报错求助

错误原因分析 #

你遇到的NoClassDefFoundError: software/amazon/awssdk/services/glue/model/InvalidInputException本质是依赖包不完整：PySpark运行时缺少AWS Glue SDK的核心类，Iceberg Glue Catalog的初始化需要配套的AWS SDK依赖，手动复制单个Iceberg jar包无法解决依赖链缺失问题；另外Cannot find constructor for interface org.apache.iceberg.catalog.Catalog通常是Catalog类的配置或依赖版本不匹配，导致无法实例化GlueCatalog。

解决步骤 #

1. 用Spark的--packages参数加载完整兼容的依赖

不要手动复制jar包到Spark目录，直接在启动PySpark时通过--packages指定完整的依赖集合，确保版本兼容（以下以Spark 3.3 + Iceberg 1.3.2为例，根据你的本地Spark版本调整Iceberg版本）：

pyspark --packages \
org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.3.2,\
org.apache.iceberg:iceberg-aws:1.3.2,\
software.amazon.awssdk:glue:2.20.100

• 版本说明：
  • iceberg-spark-runtime-<spark版本>_<scala版本>：必须匹配你的本地Spark版本（比如Spark 3.2对应iceberg-spark-runtime-3.2_2.12）
  • iceberg-aws版本要和iceberg-spark-runtime完全一致
  • software.amazon.awssdk:glue选择与Iceberg兼容的AWS SDK版本（Iceberg 1.3.x推荐AWS SDK 2.20.x系列）

2. 正确配置SparkSession的Glue Catalog参数

在PySpark代码中，明确配置Glue Catalog的相关参数，确保能正确初始化：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("GlueIcebergDemo") \
    .config("spark.sql.catalog.glue", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config("spark.sql.catalog.glue.warehouse", "s3://your-iceberg-warehouse-path/") \
    .config("spark.sql.catalog.glue.region", "us-east-1") \
    .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()

# 测试查询
spark.sql("SELECT * FROM glue.iceberg_table LIMIT 10;").show()

• 参数说明：
  • spark.sql.catalog.glue.warehouse：替换为你在Glue中配置的Iceberg表存储路径（S3桶路径）
  • spark.sql.catalog.glue.region：替换为你的AWS区域
  • AWS凭证：本地环境会自动读取~/.aws/credentials文件或环境变量AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY，无需额外配置

3. 排查版本冲突问题

如果仍报错，检查以下几点：

• 确认本地Spark版本与Iceberg runtime版本兼容
• 避免同时加载多个版本的Iceberg或AWS SDK jar包（比如Spark目录中已存在旧版本jar，需清理）
• 用spark.sparkContext.listJars()查看已加载的jar包，确认iceberg-aws和software.amazon.awssdk.glue相关jar存在

内容的提问来源于stack exchange，提问作者Luiz Tauffer