PySpark2.4.7读取HBase2.3.4表tmp报NullPointerException该如何解决？

该空指针异常触发在HBaseRelation初始化逻辑中，核心原因是HBase Spark连接器无法读取到HBase集群的核心配置：

• 启动pyspark时未将HBase配置文件hbase-site.xml加载到Driver和Executor的classpath中，连接器无法获取ZooKeeper地址、HBase集群根目录等必填配置，读取配置对象时为空触发空指针。
• 部分场景下未显式指定HBase连接参数，也会触发该类空指针错误。

方案一：启动时传入HBase配置文件 #

在pyspark启动命令中添加--files参数传入集群的hbase-site.xml，修改后的启动命令如下：

pyspark \
--master yarn \
--deploy-mode client \
--num-executors 5 \
--executor-cores 1 \
--driver-memory 6g \
--executor-memory 1g \
--packages org.apache.hbase.connectors.spark:hbase-spark:1.0.0 \
--files /etc/hbase/conf/hbase-site.xml

请将路径/etc/hbase/conf/hbase-site.xml替换为当前集群实际的HBase配置文件路径即可。

方案二：代码中显式指定连接参数 #

如果无法直接获取配置文件，也可以在读取数据时手动传入HBase核心连接参数，修改后的代码如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

df = (spark.read.format("org.apache.hadoop.hbase.spark")
                .option("hbase.table", "tmp")
                # 替换为实际的ZooKeeper节点地址，多个节点用逗号分隔
                .option("hbase.zookeeper.quorum", "zk1,zk2,zk3")
                # 替换为实际的ZooKeeper服务端口
                .option("hbase.zookeeper.property.clientPort", "2181")
                .option("hbase.columns.mapping", "col1 STRING :key, col2 STRING cols:name, col3 STRING cols:age")
                .load())
df.show()

两种方案任选其一即可解决该空指针问题，你使用的组件版本本身不存在兼容性问题，无需调整版本。

内容的提问来源于stack exchange，提问作者TenDim