读取HBase DataFrame时触发空指针异常求助

看起来你在通过Spark读取HBase表的时候碰到了头疼的空指针问题，我来帮你梳理下几个最可能的原因和对应的排查方向——这些都是我之前踩过的坑，应该能帮到你：

• 核心配置未正确加载（最常见原因）
  HBaseRelation初始化时得依赖HBase的核心配置（比如ZooKeeper地址这些），如果Spark上下文里没拿到这些配置，就会直接触发NPE。
  你要检查：

  • 作业提交时有没有用--files参数带上hbase-site.xml，或者代码里有没有手动加载这个配置文件注入到SparkConf中？比如可以这么写：

    val hbaseConf = HBaseConfiguration.create()
    hbaseConf.addResource(new Path("path/to/your/hbase-site.xml"))
    val sparkConf = new SparkConf().setAppName("ExportHBaseTables")
    // 把HBase的配置同步到Spark配置里
    hbaseConf.foreach(entry => sparkConf.set(entry.getKey, entry.getValue))
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    

  • 重点确认hbase.zookeeper.quorum这个配置项有没有值，绝对不能是空的。

• 表/列族配置有误
  要是你代码里传了null的表名，或者列族名称写错、不存在，也会在初始化HBaseRelation时炸空指针。
  去看你的ExportHBaseTables.scala第98行，检查构建HBase读取配置时，表名、列族这些参数是不是不小心传了null？比如option("hbase.table", tableName)里的tableName是不是没赋值？
  另外登录HBase shell，用list确认表存在，describe '你的表名'确认列族都正常。

• 版本不兼容的坑
  HBase-Spark Connector对版本的匹配要求很严，要是Connector版本和集群HBase、Spark版本不对应，初始化时很容易出各种奇怪的NPE。
  检查你的依赖：hbase-spark（或hbase-spark2）的版本要和集群HBase版本完全一致，比如HBase 2.4.x就得用2.4.x系列的Connector；Spark 3.x的话要确保Connector明确支持Spark 3。
  还得排查依赖冲突，用Maven的dependency:tree或者SBT的show dependencyTree看看有没有多个版本的HBase/Spark依赖混在项目里。

• 容易忽略的权限问题
  有时候作业运行的用户没权限访问HBase表或ZooKeeper节点，也会表现为初始化时的空指针（因为权限不足导致获取表元数据返回null）。
  用作业的运行用户在集群节点上跑hbase shell，试试scan '你的表名'，看看会不会报权限错误；同时确认HBase的ACL配置给这个用户开了目标表的读权限。

另外，你可以在代码里加几行调试日志，比如在调用spark.read.load()之前，打印出所有HBase配置参数，看看有没有关键配置缺失的情况，这样能更快定位问题。

备注：内容来源于stack exchange，提问作者pgb314