Databricks Unity Catalog检查表存在报错，如何单集群白名单该方法？

我正尝试在Databricks中构建每周向Unity Catalog导入数据的Python任务。覆盖已存在的表时无问题，代码如下：

USE catalog some_catalog

dfTarget                 # 某个pandas DataFrame
df_sparkTarget = spark.createDataFrame(dfTarget)
df_sparkTarget.write.format("delta").mode("overwrite").saveAsTable(database + "." + table)

但在覆盖操作前，我想要检查该表是否存在，使用以下代码：

if spark.catalog.tableExists(database + "." + table):
  print("Table exists")
else:
  print("Table does not exist")

此时触发如下错误：

py4j.security.Py4JSecurityException: Method public boolean org.apache.spark.sql.internal.CatalogImpl.tableExists(java.lang.String) is not whitelisted on class class org.apache.spark.sql.internal.CatalogImpl

请问如何将该方法加入白名单？能否仅针对单个集群配置而非全部集群？

方法一：配置单个集群的Py4J白名单 #

可以仅针对目标集群添加白名单配置，无需修改全局设置，步骤如下：

1. 打开目标集群的配置页面，进入高级选项 → Spark → Spark配置
2. 添加以下配置项：

   spark.databricks.py4j.whitelist.org.apache.spark.sql.internal.CatalogImpl tableExists
   

3. 重启集群，配置即可生效

方法二：无需修改白名单的替代方案 #

如果不想修改集群配置，也可以通过Spark SQL或其他Catalog API实现表存在性检查，避免触发白名单限制：

方案1：使用DESCRIBE TABLE语句捕获异常 #

def is_table_exists(database, table):
    try:
        spark.sql(f"DESCRIBE TABLE {database}.{table}")
        return True
    except Exception:
        return False

if is_table_exists(database, table):
    print("Table exists")
else:
    print("Table does not exist")

方案2：使用spark.catalog.listTables遍历表 #

existing_tables = [t.name for t in spark.catalog.listTables(database)]
if table in existing_tables:
    print("Table exists")
else:
    print("Table does not exist")

内容的提问来源于stack exchange，提问作者Tensing2009