Spark Thrift Server连接Glue Catalog查询Iceberg表失败求助

问题原因 #

报错ClassNotFoundException: org.apache.iceberg.spark.SparkCatalog说明Thrift Server的所有关联进程（包括driver和executor）未加载到Iceberg依赖包。PySpark能正常运行是因为其driver进程直接通过--packages获取了依赖，但Thrift Server的架构下，--packages的动态依赖下载机制无法将jar包传递给所有相关进程。

解决方案 #

1. 确保依赖包被所有进程加载 #

放弃--packages动态下载方式，改为手动指定本地jar包路径：

• 先通过Spark Shell触发依赖下载：

  spark-shell --packages org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.3.1,software.amazon.awssdk:bundle:2.20.18,software.amazon.awssdk:url-connection-client:2.20.18
  

  Ivy会将jar包自动下载到~/.ivy2/jars目录。
• 也可直接从Maven仓库手动下载以下三个jar包：
  • iceberg-spark-runtime-3.3_2.12-1.3.1.jar
  • aws-sdk-bundle-2.20.18.jar
  • aws-sdk-url-connection-client-2.20.18.jar

2. 修改Thrift Server启动命令 #

将--packages替换为--jars，并添加classpath配置，确保driver和executor都能访问到依赖：

sbin/start-thriftserver.sh \
--jars ~/.ivy2/jars/org.apache.iceberg_iceberg-spark-runtime-3.3_2.12-1.3.1.jar,~/.ivy2/jars/software.amazon.awssdk_bundle-2.20.18.jar,~/.ivy2/jars/software.amazon.awssdk_url-connection-client-2.20.18.jar \
--conf spark.driver.extraJavaOptions="-Divy.cache.dir=/tmp -Divy.home=/tmp" \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.defaultCatalog=iceberg_catalog \
--conf spark.sql.catalog.iceberg_catalog=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.iceberg_catalog.warehouse=s3://bucket/iceberg/ \
--conf spark.sql.catalog.iceberg_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog \
--conf spark.sql.catalog.iceberg_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO \
--conf spark.driver.extraClassPath=~/.ivy2/jars/* \
--conf spark.executor.extraClassPath=~/.ivy2/jars/*

集群环境需确保所有节点的相同路径下都有这些jar包，或使用共享存储路径。

3. 验证权限配置 #

确保Thrift Server进程拥有S3和Glue Catalog的访问权限：

• 本地测试时设置环境变量：

  export AWS_ACCESS_KEY_ID=你的访问密钥ID
  export AWS_SECRET_ACCESS_KEY=你的私有访问密钥
  

• AWS EC2/EKS环境下，给实例或Pod绑定具备Glue、S3权限的IAM角色。

4. 测试Beeline连接 #

启动Thrift Server后，执行以下命令连接测试：

beeline -u jdbc:hive2://localhost:10000

连接成功后即可查询Iceberg表，例如：

SELECT * FROM iceberg_catalog.数据库名.表名 LIMIT 10;

结论 #

可以通过Beeline连接Thrift Server查询Glue Catalog中的Iceberg表，核心是确保Thrift Server的所有进程都能加载到Iceberg及AWS相关依赖包，调整启动参数的依赖传递方式即可解决报错问题。

内容的提问来源于stack exchange，提问作者Fiza