Azure Databricks配置Azure SQL为外部Hive Metastore创建失败问题咨询

问题触发原因 #

1. 配置参数前缀缺失。datanucleus.fixedDatastore、datanucleus.autoCreateSchema、hive.metastore.schema.verification.record.version、hive.metastore.schema.verification四个参数未添加spark.hadoop.前缀，Azure Databricks 7.3运行时无法正确加载该类配置，导致元存储schema自动创建逻辑未生效，任务异常终止。
2. Azure SQL JDBC连接参数不全。Azure SQL要求JDBC连接URL必须携带加密相关参数，未配置的情况下会出现连接握手失败，无法正常连接元存储数据库。
3. 网络访问限制。Azure SQL默认禁止未在白名单内的IP访问，若Databricks集群的出站IP未添加到SQL Server防火墙白名单，会导致连接请求被直接拒绝。
4. SQL账号权限不足。配置的数据库账号没有hivemetastore库的建表、修改schema、读写数据权限，无法自动初始化元存储所需的系统表。

解决方案 #

• 修正集群Spark配置，补充前缀和必要的JDBC参数，完整配置如下：

spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;
spark.hadoop.javax.jdo.option.ConnectionUserName xxxx
spark.hadoop.datanucleus.fixedDatastore false
spark.hadoop.javax.jdo.option.ConnectionPassword xxxx
spark.hadoop.datanucleus.autoCreateSchema true
spark.sql.hive.metastore.jars builtin
spark.sql.hive.metastore.version 1.2.1
spark.hadoop.hive.metastore.schema.verification.record.version false 
spark.hadoop.hive.metastore.schema.verification false

• 配置Azure SQL网络访问规则：进入Azure Portal对应SQL Server的「网络」设置页，开启「允许Azure服务和资源访问此服务器」开关，或把Databricks集群的出站IP段添加到SQL Server防火墙白名单。
• 验证SQL账号权限：登录Azure SQL的hivemetastore数据库，确认配置的用户账号已被授予db_owner角色，至少具备CREATE TABLE、ALTER、SELECT、INSERT、UPDATE、DELETE权限。
• 配置修改完成后完全重启集群，待集群启动成功后再执行元存储相关操作。若仍报错，可在Databricks笔记本中执行spark.sql("show databases")获取完整报错信息，进一步定位问题。

内容的提问来源于stack exchange，提问作者anuj