Spark Catalog无法识别已创建的my_db数据库问题求助

你遇到的核心问题是Spark本地模式下默认元数据存储的临时性：

• Spark在本地运行时，默认使用嵌入式Derby数据库存储元数据（如数据库、表的定义信息），但这个Derby实例是会话级临时实例——每次启动新SparkSession，Spark会在系统临时目录创建全新的Derby数据库，上一次会话的元数据不会被加载。
• 你创建的my_db物理文件（my_db.db文件夹）确实存在于数据仓库目录，但数据库的元数据信息仅保存在上一次会话的临时Derby中，新会话无法读取这些元数据，因此识别不到my_db。

方案一：配置持久化的元数据存储（推荐） #

在启动SparkSession时，显式指定元数据存储的固定路径，让所有会话共享同一套元数据。修改会话初始化代码如下：

spark = pyspark.sql.SparkSession\
        .builder\
        .master("local")\
        .appName("hello-spark")\
        # 指定数据仓库路径（与你之前的路径保持一致）
        .config("spark.sql.warehouse.dir", "/Users/samarth/Desktop/projects/groKPy/sparkey/Coursework/spark-warehouse")\
        # 指定Derby元数据库的持久化路径，create=true表示不存在则自动创建
        .config("javax.jdo.option.ConnectionURL", "jdbc:derby:;databaseName=/Users/samarth/Desktop/projects/groKPy/sparkey/Coursework/metastore_db;create=true")\
        .getOrCreate()

此后每次启动新会话，Spark都会读取指定路径下的Derby元数据库，之前创建的my_db会被自动加载。

方案二：临时注册已存在的数据库 #

如果不想修改会话配置，可在新会话中执行以下SQL，手动将已存在的物理数据库注册到当前会话的元数据中：

CREATE DATABASE IF NOT EXISTS my_db LOCATION 'file:/Users/samarth/Desktop/projects/groKPy/sparkey/Coursework/spark-warehouse/my_db.db'

执行后spark.catalog.listDatabases()就能看到my_db，但该操作需要每次启动会话时重复执行。

• 确保指定的metastore_db目录具备读写权限，Spark需要创建和维护Derby的元数据文件。
• 不要随意删除metastore_db目录，否则所有持久化的元数据会丢失，需重新注册数据库和表。

内容的提问来源于stack exchange，提问作者Samarth Navneet