Azure Data Factory作业集群启用Unity Catalog报错的排查与解决

针对你遇到的CatalogNotFoundException，结合集群未启用Unity Catalog的情况，除了链接服务的UC访问模式设置，还需要检查以下关键配置：

• 确保作业集群本身启用Unity Catalog
  链接服务的附加设置只是补充配置，核心是集群必须原生支持UC：

  • 选择支持UC的Databricks Runtime版本（需11.3 LTS及以上）；
  • 在集群创建/配置页面，找到「Unity Catalog」选项并勾选启用；
  • 如果使用集群政策，需确保政策允许启用UC，没有强制禁用该选项。

• 链接服务需关联正确的Unity Catalog元存储
  在ADF的Databricks链接服务中，除了设置「Unity Catalog访问模式」为「共享」，还要在对应配置项中指定你的Unity Catalog元存储，确保集群能正确关联到包含my-catalog的元存储实例。

• 检查Spark配置与初始化脚本
  避免集群配置覆盖UC相关参数：

  • 确保spark.sql.catalogImplementation参数设置为unity（启用UC的集群默认是这个值，不要手动改成hive）；
  • 检查集群的初始化脚本，有没有修改UC相关的Spark配置，比如错误定义spark.sql.catalog.my-catalog参数导致插件找不到。

• 动态集群的ADF配置验证
  如果是ADF动态创建作业集群，需要在管道的Notebook任务的「集群」配置中，明确开启Unity Catalog选项，而不是仅依赖链接服务的设置。动态集群的Runtime版本必须选支持UC的版本，同时配置UC相关参数。

• 权限验证
  确保执行ADF管道的服务主体，以及集群使用的服务主体（如果是集群独立SP），拥有my-catalog的USE CATALOG权限。权限不足也可能伴随出现类似的找不到Catalog的错误。

内容的提问来源于stack exchange，提问作者Minura Punchihewa