在Azure Databricks中使用ABFS创建指向ADLS Gen2的Spark数据库报错

在Azure Databricks中采用会话级存储账户访问密钥认证时，执行指定ADLS Gen2路径的CREATE DATABASE语句抛出AnalysisException，核心错误为配置初始化失败。

会话级认证代码 #

spark.conf.set("fs.azure.account.key.formula1supportdl.dfs.core.windows.net", 
                dbutils.secrets.get(scope="databricks-support-scope", key="formula1supportdl-account-key"))

创建数据库的SQL语句 #

CREATE DATABASE f1_demo_abfss
LOCATION 'abfss://demo@formula1supportdl.dfs.core.windows.net/'

补充信息 #

• 切换为集群级认证时，可正常访问该存储账户及容器
• 使用相同abfss路径创建表时无异常，仅创建数据库操作在会话级认证下失败

内容的提问来源于stack exchange，提问作者Ramesh