使用Azure Databricks读取存储账户中Databricks日志JSON文件报错

核心报错原因 #

系统无法找到目标存储的有效访问凭证，尝试匿名访问失败，问题由3个配置错误共同导致：

• Spark配置中填写的存储账户名与实际日志所在的存储账户名不一致
• 所用SAS令牌为单Blob级别，无法支持目录下多文件批量读取
• 读取路径的格式错误，系统误识别了存储账户和容器名称

具体修复步骤 #

1. 重新生成容器级SAS令牌
   进入存储账户的insights-logs-jobs容器配置页，生成容器级SAS：

• 范围选择容器，对应参数sr=c
• 权限勾选读取(r)、列出(l)
• 合理设置过期时间，避免未到使用时间就过期
• 若存储账户防火墙开启了IP限制，需将Databricks工作区的出站IP加入允许列表

2. 修正Spark SAS配置
   将配置中的存储账户名替换为实际存放日志的gtoollogging：

containerName = "insights-logs-jobs"
# 修正为实际的存储账户名
storageAccountName = "gtoollogging"
config = f"fs.azure.sas.{containerName}.{storageAccountName}.blob.core.windows.net"
# 替换为你新生成的容器级SAS
sas = "替换为新生成的容器级SAS字符串"
spark.conf.set(config, sas)

3. 修正文件读取路径
   wasbs协议的正确格式为wasbs://<容器名>@<存储账户名>.blob.core.windows.net/文件路径，需将容器和存储账户之间的.改为@：

df = spark.read.json("wasbs://insights-logs-jobs@gtoollogging.blob.core.windows.net/resourceId=/SUBSCRIPTIONS/xxxBD-3070-4AFD-A44C-3489956CE077/RESOURCEGROUPS/xxxx-xxx-RG/PROVIDERS/MICROSOFT.DATABRICKS/WORKSPACES/xxx-ADB/y=2021/m=12/d=07/h=00/m=00/*.json")

额外排查点 #

如果此前已经完成了存储路径的挂载，无需再单独配置SAS，直接使用挂载后的路径读取即可，示例：

df = spark.read.json("/mnt/你的挂载目录名/resourceId=/SUBSCRIPTIONS/xxxBD-3070-4AFD-A44C-3489956CE077/RESOURCEGROUPS/xxxx-xxx-RG/PROVIDERS/MICROSOFT.DATABRICKS/WORKSPACES/xxx-ADB/y=2021/m=12/d=07/h=00/m=00/*.json")

内容的提问来源于stack exchange，提问作者anuj