Azure Databricks写入未转换类型空列报错后Delta表无法覆盖删除问题

第一次创建空列时未指定类型，Spark默认将lit(None)推导为Void类型，而Hive元数据不支持识别Void类型，导致表的元数据条目损坏。后续哪怕修改了列类型、删除了存储文件，只要Hive metastore里的损坏元数据还在、Delta事务日志里还有旧Schema记录，就会触发解析报错。

步骤1：强制清理Hive元数据中的损坏表条目 #

直接用普通DROP TABLE会触发元数据Schema解析所以报错，改用Spark Catalog API绕过Schema校验直接删除元数据条目：

spark.catalog.dropTable(tnm, ignoreIfExists=True, purge=True)

如果上述命令仍然报错，可在Databricks SQL编辑器中执行：

DROP TABLE IF EXISTS <替换为你的表名> PURGE;

PURGE参数会直接删除元数据条目，不会触发Schema校验逻辑

步骤2：彻底清理Delta表对应的存储路径 #

之前只删除Parquet文件不生效，需要同时删除路径下的_delta_log事务日志文件夹，清空所有旧Schema残留记录：

# 替换为你的Delta表存储路径
dbutils.fs.rm("<替换为path参数值>/<替换为fnm参数值>", recurse=True)

步骤3：修正空列定义和写表逻辑 #

你之前的空列定义代码缺少闭合括号，修正为：

from pyspark.sql.types import BooleanType
df = df.withColumn('val2', funcs.lit(None).cast(BooleanType()))

同时优化写表函数，省去中间删表、手动建表的步骤，减少元数据操作出错概率：

def write_to_delta_table(df, fnm, tnm, path):
    table_full_path = f"{path}/{fnm}"
    # 直接写入Delta同时注册metastore表
    df.repartition(1).write.format("delta") \
        .mode("overwrite") \
        .option("overwriteSchema", "true") \
        .option("path", table_full_path) \
        .saveAsTable(tnm)

完成以上步骤后重新执行写表逻辑，即可正常写入数据。

内容的提问来源于stack exchange，提问作者GreenEye