DBeaver 25.0.1连接HDFS上Delta Lake表驱动初始化失败求助
DBeaver连接HDFS上Delta Lake文件失败问题
我尝试通过DBeaver创建新连接,访问由Spark/Hadoop/Scala/io.delta应用程序在HDFS文件系统上成功创建的Delta Lake Parquet文件。(注:我了解到无需Thrift服务器,仅通过JDBC驱动配置即可实现,若此说法有误请告知。)
驱动配置步骤
通过DBeaver驱动管理器添加了以下库:
- hadoop-common-3.3.4.jar
- hadoop-hdfs-client-3.3.4.jar
- spark-core_2.13-3.4.3.jar
- io.delta_delta-core_2.13-2.4.0.jar(替代delta-core_2.13-2.4.0.jar)
- spark-sql_2.13-3.4.3.jar
DBeaver版本:25.0.1.202503240840
通过查找类功能,对话框返回的驱动类为org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper,来自spark-sql_2.13-3.4.3.jar。
进一步设置:
- URL模板:
jdbc:spark://sparkmaster:7077 - 驱动类型:通用(无法使用Apache Spark模板,因它会错误设置为1.2等旧版本)
集群环境详情
- Java运行时11
- Hadoop 3.3.4
- Spark 3.4.3
- Scala 2.13.x
- Delta Lake 2.4.x
- VMware实例[Ubuntu 22.04](3节点,内存6、6、4GB)
遇到的错误
Error in driver initialization 'delta-lake-driver'
对话框具体错误信息:
Can't create driver instance (class 'org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper'). Error creating driver 'delta-lake-driver' instance. Most likely required jar files are missing. You should configure jars in driver settings. Reason: can't load driver class 'org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper' org/apache/spark/SparkSQLFeatureNotSupportedException org.apache.spark.SparkSQLFeatureNotSupportedException org.apache.spark.SparkSQLFeatureNotSupportedException
疑问与求助
我未找到DBeaver与开源Apache Spark搭配的示例,目前集群中所有节点的MySQL连接正常。Spark任务使用对应版本JAR可正常写入,故JAR版本无误。有没有人尝试过类似的开源Spark、Delta Lake、DBeaver组合场景?
我原本以为驱动管理器已具备所有所需JAR,Spark任务创建和读取Delta表很简单,以为DBeaver连接查询会更轻松。原以为上述库列表足够,但错误仅提示缺少JAR,无更多细节,添加所有依赖JAR又过于庞大,寻求解决办法。
内容的提问来源于stack exchange,提问作者Rene
相关产品推荐
相关产品推荐

