Spark SQL集成Delta Lake出现BlockManager空指针异常求助

针对你在Spark 3.0.3集成Delta Lake 0.8.0时出现的BlockManagerMasterEndpoint空指针+连接超时问题，可从以下几个方向排查修复：

1. 调整Delta Catalog配置的使用方式 #

不要直接覆盖默认的spark_catalog，Spark 3.0.x与Delta 0.8.0的默认catalog兼容性存在适配问题。先移除spark.sql.catalog.spark_catalog配置项，仅保留Delta扩展配置启动：

spark-sql --packages io.delta:delta-core_2.12:0.8.0 --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension"

若启动正常，后续如需使用Delta Catalog，可自定义一个非默认的catalog名称，比如：

--conf "spark.sql.catalog.delta_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"

2. 添加BlockManager网络超时相关配置 #

连接超时大概率是BlockManager节点间通信受阻，添加以下配置参数优化网络通信：

--conf "spark.network.timeout=300s" \
--conf "spark.blockmanager.port=1024-65535" \
--conf "spark.blockmanager.slave.timeout=300s"

这些参数会放宽网络超时限制，并指定BlockManager可用端口范围，避免端口占用或通信超时。

3. 校验Hadoop环境网络配置 #

检查Hadoop配置文件（core-site.xml、hdfs-site.xml）中的fs.defaultFS是否正确指向HDFS地址，同时确认集群节点间防火墙已开放Spark（默认7077、4040等）和BlockManager相关端口，确保节点间能正常通信。

4. 清理本地缓存及临时文件 #

删除Spark本地工作目录下的临时文件（默认./spark-warehouse、./tmp），避免旧的Delta日志或Spark缓存导致的冲突，之后重新启动spark-sql。

内容的提问来源于stack exchange，提问作者Vinod R