启用Unity Catalog的共享集群无法在Hive Metastore创建外部表

1. 创建表权限报错的核心原因 #

你碰到的SparkSecurityException: Insufficient privileges: User does not have permission SELECT on any file，本质不是Hive Metastore的权限不够，而是共享集群绑定的服务主体没有访问指定ADLS Gen2路径的权限：

• 单用户集群默认用你的个人AAD身份访问存储，你的账号已经有该路径权限，所以创建成功；
• 启用Unity Catalog的共享集群，默认用集群绑定的服务主体（SPN）访问外部存储，这个SPN没被授予目标abfss://container@storageaccount.dfs.core.windows.net/path路径的读写权限。

2. 解决存储路径权限问题 #

给集群的服务主体授予ADLS Gen2路径权限：

• 找集群服务主体：在Databricks集群详情页的Advanced options > Spark > Spark config里，查看spark.databricks.servicePrincipal.clientId对应的SPN；
• 登录Azure Portal操作存储账户：
  • 进入目标存储账户的对应容器，点击访问控制 (IAM)；
  • 添加角色分配：选存储Blob数据参与者（或更精细的权限），把权限分配给上述集群的服务主体；
• 等1-5分钟权限生效后，重新执行CREATE TABLE语句。

3. 修复错误的授权语句 #

你执行的GRANT all_privileges ON catalog hive_metastore TO `报错，是因为Unity Catalog的权限模型里catalog级别不支持授予ALL_PRIVILEGES。如果需要给用户hive_metastore下的创建权限，正确语句是：

GRANT USE CATALOG, CREATE DATABASE ON CATALOG hive_metastore TO `<user>`;
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA hive_metastore.clean TO `<user>`;

不过你已经能查询表，说明这类权限已有，核心还是存储路径的权限问题。

额外验证点 #

确认共享集群的UC配置：

• 集群是否为Shared模式且启用了Unity Catalog；
• 集群的Access mode是否为Shared，该模式下会用集群服务主体访问外部资源，而非用户个人身份。

内容的提问来源于stack exchange，提问作者Lav Mehta