Azure Synapse Spark池创建数据库报NullPointerException异常求助

问题场景 #

已完成Azure Synapse Spark池创建，执行建库、写表代码时抛出AnalysisException，底层报错为Hive元数据操作空指针。

复现代码 #

spark.sql("CREATE DATABASE  nyctaxi_ksa7")
df.write.mode("overwrite").saveAsTable("nyctaxi.trip")

核心报错信息 #

AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.NullPointerException
报错触发位置：spark.sql("CREATE DATABASE  nyctaxi_ksa7") 语句执行阶段

根因定位 #

• 代码逻辑不一致：创建的数据库名为nyctaxi_ksa7，后续写表指定的目标库为nyctaxi，目标库不存在本身就会触发元数据操作异常。
• Spark池关联的ADLS Gen2存储权限缺失：Synapse Spark的Hive元数据默认存储在工作区绑定的主存储账户中，如果Synapse托管标识没有对应存储的Blob数据读写权限，元数据写入时路径解析失败就会抛出空指针。
• Spark池初始化未完成：刚创建完成的Spark池元数据服务需要3-5分钟启动时间，组件未就绪时执行DDL语句会触发元数据空指针报错。

解决步骤 #

• 先对齐代码里的库名：如果要将表存入刚创建的nyctaxi_ksa7库，把写表语句改成df.write.mode("overwrite").saveAsTable("nyctaxi_ksa7.trip")；如果要使用nyctaxi库，先执行spark.sql("CREATE DATABASE IF NOT EXISTS nyctaxi")完成建库再写表，建库时加上IF NOT EXISTS可以避免重复建库报错。
• 校验存储权限：进入Synapse工作区绑定的主ADLS Gen2存储账户，在访问控制（IAM）页面给Synapse工作区的托管标识分配存储Blob数据参与者角色，分配完成后等待5分钟让权限全局生效再重试作业。
• 若为刚创建的Spark池，等待3-5分钟待元数据服务完全启动后再重新运行代码，不要在池创建完成后立刻提交DDL作业。
• 可在建库时显式指定存储路径规避默认路径解析问题，示例语句：

  spark.sql("""
  CREATE DATABASE IF NOT EXISTS nyctaxi_ksa7 
  LOCATION 'abfss://<你的容器名>@<你的存储账户名>.dfs.core.windows.net/spark-warehouse/nyctaxi_ksa7.db'
  """)
  

内容的提问来源于stack exchange，提问作者user3752199