无Hive环境下Spark新会话无法读取已创建表，如何处理？

问题原因 #

你当前的SparkSession没有配置持久化元存储，默认使用的是内存级Catalog——表的元数据只保存在当前Session的内存中，重启Session后元数据就丢失了。虽然数据文件还在spark-warehouse目录，但新Session无法识别这些文件对应的表。

解决方案 #

方案1：每次启动Session手动加载表

如果只是临时需求，可以在新Session中执行以下命令加载已有表：

# 方式1：通过SQL创建与数据文件绑定的永久表
spark.sql("CREATE TABLE test USING PARQUET LOCATION 'spark-warehouse/test'")

# 方式2：创建临时视图（仅当前Session有效）
spark.read.parquet("spark-warehouse/test").createOrReplaceTempView("test")

执行后就能通过spark.catalog.listTables()或spark.sql("select * from test")访问表。

方案2：配置内置Derby元存储（持久化元数据）

无需安装完整Hive，Spark内置了Derby作为轻量级元存储，只需在构建SparkSession时启用Hive支持，就能让元数据持久化到本地文件：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .enableHiveSupport()  # 启用内置Derby元存储
    .config("spark.sql.legacy.createHiveTableByDefault", False) \
    .getOrCreate()

使用这个Session创建表后，元数据会保存在本地的metastore_db目录中。后续启动新Session时，只要加上.enableHiveSupport()，就能自动加载之前创建的表，无需手动操作。

方案3：创建表时显式绑定元数据与存储位置

如果不想启用Hive支持，也可以在创建表时显式指定存储路径，同时确保元数据可被后续Session识别（但这种方式仍需依赖持久化元存储，否则重启Session还是会丢失）：

spark.createDataFrame([('Alice', 1)], ['name', 'age']) \
    .writeTo("test") \
    .option("path", "spark-warehouse/test") \
    .create()

但该方案仅配合持久化元存储使用才有意义，否则还是需要方案1的手动加载步骤。

内容的提问来源于stack exchange，提问作者rje