配置存储后在Databricks Notebook中执行Spark查询失败

你遇到的核心问题是Spark SQL对apptable的识别逻辑和直接路径访问不同：

• dbutils.fs.ls(apptable)和spark.read.format("delta").load(apptable)都是直接使用存储路径访问数据，会自动调用你之前配置的OAuth认证参数，所以能正常执行。
• 但spark.sql(s"""select max(updateddate) from apptable""")里的apptable会被Spark SQL当作未注册的表名，而非存储路径。Spark会尝试从元数据中查找该表，找不到时会触发默认的存储认证逻辑（比如尝试使用账户密钥fs.azure.account.key），但你没配置这个参数，所以抛出错误。

有两种直接的解决方式：

方式1：注册临时视图 #

先把路径对应的Delta表注册为Spark临时视图，之后就能用视图名在SQL中查询：

// 方式1：从已加载的DataFrame注册
var df = spark.read.format("delta").load(apptable)
df.createOrReplaceTempView("apptable")

// 方式2：直接从路径注册临时视图
spark.sql(s"CREATE OR REPLACE TEMP VIEW apptable USING delta LOCATION '$apptable'")

// 现在执行SQL查询即可正常运行
var last_appt = spark.sql("select max(updateddate) from apptable").collect()(0).getTimestamp(0)

方式2：在SQL中直接指定路径 #

不需要注册视图，直接在Spark SQL里用delta.<路径>的语法访问存储路径：

var last_appt = spark.sql(s"""select max(updateddate) from delta.`$apptable`""").collect()(0).getTimestamp(0)

注意路径需要用反引号（`）包裹，避免特殊字符解析问题。

• 确认apptable变量的路径拼接正确，没有多余的空格或字符
• 确保服务主体的Storage Blob Data Contributor角色已经生效（角色分配可能需要几分钟同步时间）

内容的提问来源于stack exchange，提问作者Vanderwood