Spark SaveAsTable报[UC_NOT_ENABLED]错：无UC作业集群无法存hive_metastore

针对你在未启用UC的作业集群中使用saveAsTable时遇到的[UC_NOT_ENABLED]报错，以下是具体解决建议：

1. 明确指定元存储为hive_metastore #

作业集群可能默认尝试使用UC相关的catalog逻辑，需在表名前显式加上hive_metastore前缀，强制指定使用传统内部元存储。

修改后的函数示例：

def _delta_write(write_mode: str,
             container: str,
             storage_account: str,
             destination_path: str,
             df: DataFrame,
             partition_columns: list,
             TableName: str):
    # 拼接完整表名，强制指向hive_metastore
    # 若TableName格式为"数据库名.表名"，则拼接后为"hive_metastore.数据库名.表名"
    # 若仅为表名，需补充数据库（如default）："hive_metastore.default.表名"
    full_table_name = f"hive_metastore.{TableName}"
    writer = df.write.format('delta')\
    .option('path',f"abfss://{container}@{storage_account}.dfs.core.windows.net/{destination_path}/data")\
    .mode(write_mode)\
    .partitionBy(partition_columns)\
    .saveAsTable(full_table_name)

2. 调整作业集群的Spark配置 #

在作业集群的Spark配置中添加以下参数，强制禁用UC相关自动配置：

spark.databricks.unityCatalog.enabled false
spark.sql.catalog.spark_catalog org.apache.spark.sql.hive.HiveCatalog

这两个参数会强制集群将Hive元存储作为默认catalog，避免触发UC相关检测逻辑。

3. 检查集群初始化脚本/环境变量 #

确保作业集群没有加载任何会启用UC的初始化脚本或环境变量，例如DATABRICKS_UNITY_CATALOG_ENABLED=true这类配置，需移除相关设置。

内容的提问来源于stack exchange，提问作者Raphael Castilho Gil