Databricks无法展示ADLS Gen2存储文件内容问题排查咨询

• 权限配置不完整：你为服务主体配置的是Blob存储层面的RBAC角色，而启用分层命名空间的ADLS Gen2除了RBAC权限外，还需要*访问控制列表(ACL)*权限。你可以正常列出目录是因为RBAC的Reader角色满足容器级列表权限，但是读取文件内容需要对应文件/父目录的读取ACL权限，部分版本的ABFS驱动在缺少ACL权限时不会直接抛出权限错误，而是进入无限重试逻辑，表现为单元格卡住无返回。
• 缺少超时重试限制配置：你当前的Spark配置没有设置ABFS请求的超时时间和最大重试次数，默认配置的重试次数多、间隔长，遇到权限或网络异常时会持续重试不会终止。
• 读取方式不匹配：如果读取小文件时没有指定正确的编码，或者使用了错误的读取解析逻辑，也可能出现无返回的情况。

• 配置ADLS Gen2 ACL权限
  为服务主体在目标容器、文件所属父目录、目标文件层面配置读取(r)和执行(x)权限，执行权限是访问目录下内容的必要权限。你可以通过Azure Portal存储账户的容器「访问控制列表」页面配置，也可以用Azure CLI命令批量配置。
• 补充Spark超时重试配置
  在原有OAuth配置的基础上添加以下参数，限制异常情况下的重试行为，触发异常时会直接报错而非卡住：

spark.conf.set("fs.azure.abfs.rest.client.timeout", "30000")
spark.conf.set("fs.azure.retry.policy.max-retries", "3")
spark.conf.set("fs.azure.retry.policy.min-backoff", "1000")
spark.conf.set("fs.azure.retry.policy.max-backoff", "3000")

• 调整文件读取代码
  测试读取时优先用dbutils.fs.head方法直接读取小文件内容，避免不必要的解析逻辑：

# 替换为你的实际文件路径
content = dbutils.fs.head("abfss://ado-raw@<storage account name>.dfs.core.windows.net/test.txt", 1000)
print(content)

如果用Spark DataFrame读取，可显式指定文件编码：

df = spark.read.text("abfss://ado-raw@<storage account name>.dfs.core.windows.net/test.txt", encoding="utf-8")
df.show()

内容的提问来源于stack exchange，提问作者Morez