Azure Synapse中损坏Lake Database表无法删除的求助

问题根源 #

核心问题是Hive Metastore存储的api_endpoints表元数据里，endpoint_name列使用了Hive的varchar类型，而Synapse Spark无法识别该类型，导致所有需要加载表元数据的操作（删除、重命名、覆盖）都在解析阶段失败，根本无法执行后续逻辑。

可行解决方案 #

方案1：使用Synapse Hive交互式查询池执行删除 #

Hive原生支持自身的varchar类型，不会出现解析错误，这是最稳妥的解决方式：

1. 在Synapse Studio切换到数据面板，找到Lake Database对应的Hive交互式查询池。
2. 打开Hive查询窗口，执行命令：

   USE raw_UtilityDB;
   DROP TABLE IF EXISTS api_endpoints;
   

3. 执行完成后，通过Spark查询INFORMATION_SCHEMA.TABLES验证表是否已删除。

方案2：修改Hive元数据类型后再删除 #

如果暂时无法使用Hive池，可先将列类型改为Spark兼容的string，再执行删除：

1. 通过Hive会话修改列类型：

   ALTER TABLE raw_UtilityDB.api_endpoints CHANGE COLUMN endpoint_name endpoint_name STRING;
   

2. 切换回Spark会话，执行常规删除命令：

   spark.sql("DROP TABLE IF EXISTS raw_UtilityDB.api_endpoints")
   

方案3：直接操作Hive Metastore底层数据库（极端情况） #

若上述方案均失效，需直接清理元数据底层存储（仅建议有管理员权限且已备份数据时操作）：

1. 找到Synapse Lake Database对应的Hive Metastore数据库（通常是Azure SQL DB实例，数据库名为hive_metastore）。
2. 连接该SQL DB，按顺序执行以下操作：
   • 查询目标数据库ID：

     SELECT DB_ID FROM DBS WHERE NAME = 'raw_UtilityDB';
     

   • 用得到的DB_ID查询目标表ID：

     SELECT TBL_ID FROM TBLS WHERE DB_ID = <你的DB_ID> AND TBL_NAME = 'api_endpoints';
     

   • 删除关联元数据记录（注意顺序，先删子表再删主表）：

     DELETE FROM COLUMNS_V2 WHERE CD_ID IN (SELECT CD_ID FROM SDS WHERE TBL_ID = <你的TBL_ID>);
     DELETE FROM SDS WHERE TBL_ID = <你的TBL_ID>;
     DELETE FROM TBLS WHERE TBL_ID = <你的TBL_ID>;
     

3. 操作完成后，刷新Synapse的Lake Database视图，验证表是否消失。

验证操作 #

执行以下查询确认表已删除：

SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'raw_UtilityDB' ORDER BY TABLE_NAME;

内容的提问来源于stack exchange，提问作者Psychotechnopath