Unity Catalog使用服务主体身份查询表所需Spark属性咨询

当需要通过服务主体身份访问Unity Catalog表时，需配置以下Spark属性：

• 核心服务主体认证属性：

  • spark.databricks.service.client.enabled true：启用服务主体客户端访问模式
  • spark.databricks.service.client.id <服务主体应用ID>：指定用于认证的服务主体Application ID
  • spark.databricks.service.client.secret {{secrets/<密钥范围>/<服务主体密钥>}}：从Databricks密钥管理范围中读取服务主体的密钥（避免明文泄露）

• 底层存储补充配置（若UC表数据存于ADLS Gen2）：
  如果Unity Catalog表的底层数据存储在Azure Data Lake Storage Gen2，且未通过外部位置关联服务主体权限，需补充以下与Blob存储访问一致的配置（替换占位符为实际信息）：

  spark.hadoop.fs.azure.account.auth.type.<存储账户名>.dfs.core.windows.net OAuth
  spark.hadoop.fs.azure.account.oauth.provider.type.<存储账户名>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
  spark.hadoop.fs.azure.account.oauth2.client.id.<存储账户名>.dfs.core.windows.net <服务主体应用ID>
  spark.hadoop.fs.azure.account.oauth2.client.secret.<存储账户名>.dfs.core.windows.net {{secrets/<密钥范围>/<服务主体密钥>}}
  spark.hadoop.fs.azure.account.oauth2.client.endpoint.<存储账户名>.dfs.core.windows.net https://login.microsoftonline.com/<租户ID>/oauth2/token
  

关键注意事项 #

• 需确保该服务主体已在Unity Catalog中被授予对应表、数据库或目录的访问权限（如SELECT权限）
• 所有敏感信息（如服务主体密钥）必须通过Databricks密钥范围管理，禁止明文配置

内容的提问来源于stack exchange，提问作者user3579222