Spark2-shell中通过Impala读取Kudu失败的问题求助

我之前也踩过类似的坑，结合你的报错信息和代码，咱们一步步排查解决：

核心问题分析 #

你碰到的java.lang.NullPointerException at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable错误，本质是Spark JDBC在尝试解析Impala表元数据时，因为参数格式错误或配置问题，导致驱动返回了空的元数据对象，进而触发空指针异常。

具体修正方案 #

1. 修正JDBC URL格式 #

Impala JDBC的URL必须明确指定ZooKeeper地址（Impala依赖ZK发现服务），你当前的jdbc:impala:Domainname格式不完整，正确格式需要包含ZK节点和端口，示例：

.option("url","jdbc:impala://zk-host-1:21050/default;AuthMech=0")

• zk-host-1:21050：替换成你的ZooKeeper集群节点和Impala的ZK端口（默认21050）
• default：指定默认数据库，后续dbtable可以直接写表名
• AuthMech=0：表示无认证，如果集群有Kerberos认证，需要改成对应值（比如AuthMech=1）

2. 调整dbtable参数格式 #

impala::default.tablename是Impala Shell专属的表引用格式，JDBC驱动并不识别这个前缀，直接用default.tablename即可；如果URL里已经指定了默认数据库，甚至可以只写表名：

.option("dbtable", "default.tablename")
// 或者URL指定default后，简化为：
// .option("dbtable", "tablename")

3. 简化依赖jar包，避免版本冲突 #

你启动spark2-shell时加载了大量jar包，其中很多（比如libthrift、hive相关jar）Spark2本身已经自带，手动引入低版本jar会引发版本冲突，进而导致奇怪的空指针问题。只需要保留Impala JDBC驱动jar就够了：

spark2-shell --jars ImpalaJDBC41.jar

修正后的完整代码示例 #

spark.read.format("jdbc")
  .option("driver","com.cloudera.impala.jdbc41.Driver")
  .option("url","jdbc:impala://zk-host-1:21050/default;AuthMech=0")
  .option("dbtable", "default.tablename")
  .load()

额外验证步骤 #

如果还是有问题，可以先用beeline或其他JDBC工具测试Impala连接是否正常，确认URL、用户名（如果需要）、表名均正确后，再回到Spark中尝试。

内容的提问来源于stack exchange，提问作者Autumn