如何使用Avatica JDBC通过Spark读取Druid及解决兼容报错
Spark结合Avatica JDBC读取Druid数据的操作指南
报错根因
- 版本不兼容是触发本次异常的核心原因:使用的Avatica 1.17.0客户端,和默认Docker部署的最新版Druid内置的Avatica服务端协议版本不匹配。
高版本Avatica服务端返回的连接关闭响应报文中,会新增rpcMetadata字段,该字段是Avatica 1.18.0之后的版本才纳入类结构定义的。1.17.0版本的客户端默认开启Jackson严格反序列化模式,遇到未定义的字段就会抛出UnrecognizedPropertyException异常。
此前Jaydebeapi能够正常运行,是因为其短连接调用路径未触发CloseConnectionResponse报文的全量解析;而Spark JDBC连接器会在任务执行完成后主动发起连接关闭请求,触发旧客户端对新格式报文的解析,最终抛出堆栈中的反序列化错误。
解决步骤
- 替换匹配版本的Avatica客户端Jar包
下载和当前Druid服务端内置Avatica版本完全一致的Jar包,替换原有1.17.0版本的文件。可通过Druid Broker接口的响应头确认内置Avatica的具体版本号,保证客户端与服务端版本完全对齐,从根源上避免协议不兼容问题。 - 修正Spark JDBC的参数配置
调整dbtable参数的写法:不要直接使用带schema前缀的表名字符串,将完整查询语句包裹在子查询结构中作为dbtable的取值,避免Spark JDBC内置的表名转义逻辑和Druid Avatica的SQL解析规则冲突。
额外添加Avatica客户端兼容配置,允许反序列化过程中忽略未定义的未知字段,作为版本匹配后的兜底兼容方案。
可直接运行的示例代码
- 启动pyspark并加载匹配版本的Avatica Jar包
# 替换<avatica_matched_version>为和Druid服务端对齐的Avatica版本号 pyspark --jars /root/avatica-<avatica_matched_version>.jar
- 执行Spark JDBC读取逻辑
# 读取Druid的INFORMATION_SCHEMA.TABLES表 druid_table_df = spark.read \ .format("jdbc") \ .option("driver", "org.apache.calcite.avatica.remote.Driver") \ .option("url", "jdbc:avatica:remote:url=http://0.0.0.0:8082/druid/v2/sql/avatica/") \ # 用子查询结构定义dbtable参数,适配Druid的SQL语法 .option("dbtable", "(SELECT * FROM INFORMATION_SCHEMA.TABLES) AS t") \ .option("user", "druid") \ .option("password", "druid") \ # 开启Avatica反序列化时忽略未知字段的配置 .option("skip_unrecognized_fields", "true") \ .load() # 验证读取结果 druid_table_df.show()
常见注意事项
- 不要混用不同大版本的Avatica客户端和服务端,Avatica的远程协议没有做严格的向后兼容,跨大版本调用很容易触发解析异常。
- 如果Spark集群是多节点部署,需要将Avatica Jar包分发到所有执行节点的对应路径,避免节点上找不到驱动类。
- 大表读取Druid时,可以通过
partitionColumn、lowerBound、upperBound、numPartitions参数配置并行度,提升读取性能。
内容的提问来源于stack exchange,提问作者SEUNGFWANI
相关产品推荐
相关产品推荐

