在Azure Databricks运行DBT时遇文件系统初始化错误，求修复与分析方案

1. 验证存储账户访问权限 #

• 检查DBT运行所用的服务主体/托管身份，是否拥有目标存储账户stcssdpextfabprd的Storage Blob Data Contributor权限（至少需具备读写容器dp-ext-fab的权限）。
• 确认Unity Catalog对应的metastore服务主体，是否有权限访问该ABFSS路径。

2. 核对ABFSS路径与配置正确性 #

• 确认路径中的存储账户名、容器名无误：验证abfss://dp-ext-fab@stcssdpextfabprd.dfs.core.windows.net/...里的容器dp-ext-fab、存储账户stcssdpextfabprd是否与实际Azure资源一致。
• 检查Unity Catalog表的外部位置配置：确认un_company_sat对应的External Location已正确注册，且路径指向合法的存储资源。

3. 排查存储账户网络限制 #

• 若存储账户开启防火墙或虚拟网络限制，需确认Databricks集群所在网络（如VNet对等连接、服务端点）已被加入允许列表。
• 检查存储账户的「允许信任的Microsoft服务访问」选项是否开启，开启后Databricks可绕过防火墙限制访问存储资源。

4. 验证DBT与Databricks配置适配 #

• 检查DBT配置文件（dbt_project.yml/profiles.yml）中，Databricks连接是否启用Unity Catalog模式，catalog、schema的配置是否与目标表匹配。
• 在Databricks Notebook中直接执行读取测试：spark.read.parquet("abfss://dp-ext-fab@stcssdpextfabprd.dfs.core.windows.net/__unitystorage/catalogs/12345678-9abc-4c5f-b4a7-ef123456789a/tables/1bd27775-ca51-435a-8c1a-1042391ac471/part-00000-8121312f-d7a0-4a5b-964a-4c2f4ea4f2ec-c000.snappy.parquet")，排除DBT层面的配置问题。

5. 检查Unity Catalog元数据一致性 #

• 若为外部表，执行REFRESH TABLE un_company_sat;刷新表元数据，排查元数据记录路径与实际存储文件不匹配的情况。
• 确认Unity Catalog metastore与存储账户处于同一Azure区域，跨区域访问可能引发权限或连接异常。

内容的提问来源于stack exchange，提问作者Thorsten Niehues