在Azure Databricks Unity Catalog中从子目录多CSV建外部表遇错

核心原因分析 #

报错KeyProviderException: Invalid configuration value detected for fs.azure.account.key本质是Unity Catalog元数据服务（metastore）访问ADLS时的权限/配置不匹配——你直接查询时用的是个人或集群权限，而创建外部表时用的是metastore关联的服务主体权限，两者权限逻辑不同，才会出现“能读数据但建表失败”的矛盾情况。

具体排查与修复动作 #

• 检查Metastore服务主体权限
  Unity Catalog创建外部表依赖的是metastore绑定的服务主体权限，而非你查询时的个人/集群权限。需确认：

  • 该服务主体对ADLS存储账户/容器拥有Storage Blob Data Contributor（或更细粒度的读/写权限）
  • 创建外部位置时关联的credential已授权给metastore使用

• 验证Credential配置正确性
  错误指向fs.azure.account.key无效，需根据使用的认证类型核对配置：

  • 若用存储账户密钥：检查credential中存储的密钥是否正确，无输入错误或过期情况
  • 若用Azure AD服务主体：确保credential配置的是OAuth2相关参数（fs.azure.account.oauth2.client.id、fs.azure.account.oauth2.client.secret、fs.azure.account.oauth2.client.endpoint），而非错误使用账户密钥配置项
  • 可通过SELECT * FROM abfss://<container>@<storage-account>.dfs.core.windows.net/*/iris.csv或dbutils.fs.ls("abfss://<container>@<storage-account>.dfs.core.windows.net/")验证credential的有效性

• 确认外部表路径范围
  若创建外部表时指定根容器路径，metastore会检查对整个容器的权限，可能因子目录权限继承问题触发报错。可尝试指定带通配符的路径（如abfss://<container>@<storage-account>.dfs.core.windows.net/*/iris.csv），确保覆盖所有时间戳子目录下的文件

• 核对区域一致性
  确保Unity Catalog metastore的区域与ADLS存储账户的区域完全一致，跨区域访问可能导致权限验证逻辑异常

• 排查集群配置冲突
  若你直接查询的集群在Spark配置中手动设置了fs.azure.account.key，此时集群能绕过metastore的credential直接访问存储，但Unity Catalog建表时依赖metastore的配置，就会出现权限不一致。需将集群的存储配置迁移到Unity Catalog的credential中，统一权限管理

内容的提问来源于stack exchange，提问作者Minura Punchihewa