集群配置Unity Catalog，如何将Delta表保存至指定schema？

问题原因 #

Unity Catalog采用Catalog -> Schema -> Table的三级命名结构，你直接使用sales.Products时，Spark会默认在default Catalog下查找sales Schema（此时Spark将Schema识别为传统意义的Database），但你的sales Schema并不在default Catalog中，因此报错“不存在名为sales的数据库”。

解决方案 #

1. 使用完整三级命名保存表 #

指定Schema所属的Catalog，用catalog_name.schema_name.table_name的完整格式：

• 创建管理表（数据由Unity Catalog托管）：

  df.write.format("delta").saveAsTable("main.sales.Products")
  

• 创建外部表（关联你已有的Delta文件路径）：

  delta_table_path = "/mnt/delta/sales/Products"
  df.write.format("delta")\
      .option("path", delta_table_path)\
      .saveAsTable("main.sales.Products")
  

  注：将main替换为你的sales Schema实际所属的Catalog名称

2. 先切换默认Catalog和Schema #

通过SQL设置会话默认的Catalog和Schema，之后直接使用表名即可：

# 切换到目标Catalog和Schema
spark.sql("USE CATALOG main")
spark.sql("USE SCHEMA sales")

# 创建管理表
df.write.format("delta").saveAsTable("Products")

# 或创建关联已有路径的外部表
delta_table_path = "/mnt/delta/sales/Products"
df.write.format("delta")\
    .option("path", delta_table_path)\
    .saveAsTable("Products")

3. 验证表创建结果 #

执行以下SQL确认表是否存在并可访问：

SELECT * FROM main.sales.Products LIMIT 10;

内容的提问来源于stack exchange，提问作者sparc