You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

DBeaver 25.0.1连接HDFS上Delta Lake表驱动初始化失败求助

DBeaver连接HDFS上Delta Lake文件失败问题

我尝试通过DBeaver创建新连接,访问由Spark/Hadoop/Scala/io.delta应用程序在HDFS文件系统上成功创建的Delta Lake Parquet文件。(注:我了解到无需Thrift服务器,仅通过JDBC驱动配置即可实现,若此说法有误请告知。)

驱动配置步骤

通过DBeaver驱动管理器添加了以下库:

  • hadoop-common-3.3.4.jar
  • hadoop-hdfs-client-3.3.4.jar
  • spark-core_2.13-3.4.3.jar
  • io.delta_delta-core_2.13-2.4.0.jar(替代delta-core_2.13-2.4.0.jar)
  • spark-sql_2.13-3.4.3.jar

DBeaver版本:25.0.1.202503240840
通过查找类功能,对话框返回的驱动类为org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper,来自spark-sql_2.13-3.4.3.jar。

进一步设置:

  • URL模板:jdbc:spark://sparkmaster:7077
  • 驱动类型:通用(无法使用Apache Spark模板,因它会错误设置为1.2等旧版本)

集群环境详情

  • Java运行时11
  • Hadoop 3.3.4
  • Spark 3.4.3
  • Scala 2.13.x
  • Delta Lake 2.4.x
  • VMware实例[Ubuntu 22.04](3节点,内存6、6、4GB)

遇到的错误

Error in driver initialization 'delta-lake-driver'

对话框具体错误信息:

Can't create driver instance (class 'org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper').
Error creating driver 'delta-lake-driver' instance.
Most likely required jar files are missing.
You should configure jars in driver settings.
Reason: can't load driver class 'org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper'
    org/apache/spark/SparkSQLFeatureNotSupportedException
      org.apache.spark.SparkSQLFeatureNotSupportedException
      org.apache.spark.SparkSQLFeatureNotSupportedException

疑问与求助

我未找到DBeaver与开源Apache Spark搭配的示例,目前集群中所有节点的MySQL连接正常。Spark任务使用对应版本JAR可正常写入,故JAR版本无误。有没有人尝试过类似的开源Spark、Delta Lake、DBeaver组合场景?

我原本以为驱动管理器已具备所有所需JAR,Spark任务创建和读取Delta表很简单,以为DBeaver连接查询会更轻松。原以为上述库列表足够,但错误仅提示缺少JAR,无更多细节,添加所有依赖JAR又过于庞大,寻求解决办法。

内容的提问来源于stack exchange,提问作者Rene

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.06.13 16:57:20