Databricks无法删除/重建视图：Hive类型识别错误求助

问题描述 #

使用Databricks 14.3 LTS（Apache Spark 3.5.0、Scala 2.12）创建视图hive_metastore.mes.measurement_cols后，需要修改列结构，但尝试重建或删除视图时均失败，报错：

[CANNOT_RECOGNIZE_HIVE_TYPE] 无法识别列vca_columns的Hive类型字符串：""。Spark SQL无法识别指定字段的数据类型

SQL命令和Web UI操作均无效，官方文档未找到强制删除视图的方法。

解决方法 #

1. 直接通过Hive命令删除 #

视图元数据在Hive Metastore中损坏，导致Spark无法解析，可直接用Hive CLI执行删除：

DROP VIEW IF EXISTS hive_metastore.mes.measurement_cols;

如果Hive CLI也报错，需直接操作Hive元数据库（需权限，建议先备份）：

• 连接到Hive Metastore对应的数据库（如MySQL/PostgreSQL）
• 在TBLS表中根据TBL_NAME（measurement_cols）和DB_ID（对应mes库）找到视图记录并删除
• 清理COLUMNS_V2表中该视图对应的列记录

2. 用Spark底层API强制删除 #

在Databricks Notebook中执行Scala代码，调用Catalog API删除：

spark.catalog.dropView("hive_metastore.mes.measurement_cols")

若仍失败，使用更底层的Catalog操作：

import org.apache.spark.sql.catalyst.catalog.CatalogTable

val catalog = spark.sessionState.catalog
val dbName = "mes"
val viewName = "measurement_cols"

if (catalog.tableExists(dbName, viewName)) {
  catalog.dropTable(dbName, viewName, ignoreIfNotExists = true, purge = false)
}

3. 刷新元数据后再删除 #

先刷新视图元数据，再执行删除命令：

REFRESH TABLE hive_metastore.mes.measurement_cols;
DROP VIEW hive_metastore.mes.measurement_cols;

或者用MSCK修复元数据：

MSCK REPAIR TABLE hive_metastore.mes.measurement_cols;
DROP VIEW hive_metastore.mes.measurement_cols;

问题根源 #

创建视图时，vca_columns是from_json生成的结构体类型，但元数据中该列的类型被错误记录为空字符串，导致Spark后续无法解析视图结构，进而无法执行删除/重建操作。

原创建视图的SQL代码：

CREATE OR REPLACE VIEW hive_metastore.mes.measurement_cols AS
-- Define the schema for the vca_columns column
WITH df_docmsg_parsed AS (
  SELECT
      *,
      from_json(vca_document,
      '
      _AGRADE string,
      _FGRADE string,
      _FRAM string,
      _GLOBAL_MDDB_IDENTIFIER string,
      _GLOBAL_MDDB_MACHINETYPE string,
      _GRADEFAI5A string,
      _GRADEFAI5B string,
      _GRADEFAI8A string,
      _GRADEFAI8B string
      ') AS vca_columns
  FROM hive_metastore.mes.measurement
)
SELECT
    *,
    vca_columns._AGRADE AS _AGRADE,
    vca_columns._FGRADE AS _FGRADE,
    vca_columns._FRAM AS _FRAM,
    vca_columns._GLOBAL_MDDB_IDENTIFIER AS _GLOBAL_MDDB_IDENTIFIER,
    vca_columns._GLOBAL_MDDB_MACHINETYPE AS _GLOBAL_MDDB_MACHINETYPE,
    vca_columns._GRADEFAI5A AS _GRADEFAI5A,
    vca_columns._GRADEFAI5B AS _GRADEFAI5B,
    vca_columns._GRADEFAI8A AS _GRADEFAI8A,
    vca_columns._GRADEFAI8B AS _GRADEFAI8B
FROM df_docmsg_parsed
OPTIONS (DF_IGNOREUNSUPPORTED = true);

内容的提问来源于stack exchange，提问作者Bogdan Lashkov