误删Spark的derby.log与metastore_db后永久表无法持久化求助

核心原因 #

你删除了Derby元数据存储目录metastore_db和日志文件，首次运行Spark时会临时生成新的元数据，但重启会话后，新的Spark实例无法读取之前临时生成的元数据，导致无法识别已存在于spark-warehouse中的库表数据——实际数据没丢，只是Spark的元数据没关联上。

无需重写数据的解决办法 #

1. 确认Spark Warehouse路径 #

先在新的Spark会话中执行以下代码，确认当前配置的warehouse路径是否指向你保存数据的目录：

print(spark.conf.get("spark.sql.warehouse.dir"))

如果路径不对，需要在启动Spark会话时指定正确路径：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("RecoverTables") \
    .config("spark.sql.warehouse.dir", "/path/to/your/existing/spark-warehouse") \
    .getOrCreate()

2. 重新关联数据库 #

不用创建新数据库，直接通过指定已有数据目录的方式注册数据库：

CREATE DATABASE IF NOT EXISTS asm1_db 
LOCATION '/path/to/your/existing/spark-warehouse/asm1_db';

执行后再运行USE asm1_db;就能正常切换到该数据库。

3. 重新注册分桶表 #

分桶表需要严格匹配原表的字段结构、分桶规则和存储格式，否则无法正确读取数据。假设原表结构如下（根据你的实际情况修改）：

CREATE TABLE IF NOT EXISTS asm1_db.tableQ1 (
    user_id INT,
    order_date DATE,
    amount DOUBLE
)
CLUSTERED BY (user_id) INTO 8 BUCKETS -- 分桶字段和数量要和原表完全一致
STORED AS PARQUET -- 原表的存储格式，比如ORC/CSV等
LOCATION '/path/to/your/existing/spark-warehouse/asm1_db/tableQ1';

对tableA1执行同样的操作。

4. 验证数据 #

注册完成后，执行查询验证：

SELECT * FROM asm1_db.tableQ1 LIMIT 10;

如果能正常返回数据，说明关联成功。

避免后续再出现此问题的方案 #

默认的Derby是单实例、临时元数据存储，重启会话后元数据会丢失。建议改用Hive Metastore作为持久化元数据存储：

• 在Spark的conf目录下添加hive-site.xml，配置Hive Metastore的连接信息（如MySQL作为Hive元数据库）。
• 启动Spark会话时添加配置：

spark = SparkSession.builder \
    .appName("UseHiveMetastore") \
    .enableHiveSupport() \
    .getOrCreate()

这样元数据会持久化保存，重启Spark会话后仍能识别已创建的库表。

关于恢复metastore_db的可能性 #

如果删除后没有在同一目录下生成新的metastore_db，可以尝试从系统回收站恢复，或用数据恢复工具扫描磁盘。但如果已经生成了新的metastore_db，旧的元数据大概率被覆盖，恢复成功率极低。相比之下，直接关联已有数据目录的方法更可靠，且无需重写海量数据。

内容的提问来源于stack exchange，提问作者Hoang Minh Quang FX15045