Spark修改默认数据库仓库位置后表路径未变更的解决方法

你修改了hive.metastore.warehouse.dir配置，且spark.sql.warehouse.dir已显示为新路径，但新创建的表仍存储在旧路径，核心原因是Hive元数据中已记录默认数据库的存储位置，修改配置文件不会自动更新元数据里的已有信息。

1. 确认元数据中的默认数据库位置
   使用Hive客户端执行以下SQL，查看默认库的实际存储路径：

DESCRIBE DATABASE default;

你会发现Location字段仍为旧路径，这就是新表仍存旧位置的根源——Spark集成Hive metastore时，会优先读取元数据中记录的数据库路径，而非直接使用spark.sql.warehouse.dir。

2. 更新元数据中默认数据库的存储路径
   在Hive客户端执行DDL语句，修改默认库的位置：

ALTER DATABASE default SET LOCATION 'hdfs://spark-master-01:9000/skybluelee/skybluelee_warehouse_mysql_5.7';

注意：此操作仅更新元数据，不会自动迁移旧路径中的已有表，旧表仍保留在原位置，后续新创建的表将使用新路径。

3. 验证配置生效
   重启Spark应用，执行spark.conf.get("spark.sql.warehouse.dir")确认路径正确，再创建新表，检查HDFS存储路径是否已切换为新位置。

4. 可选：迁移旧表到新路径（如需）
   如果需要将旧表也迁移到新路径，需按以下步骤操作：

• 停止所有Spark、Hive相关服务
• 在HDFS中手动移动旧表的目录到新仓库路径下
• 在Hive客户端执行ALTER TABLE <表名> SET LOCATION '新路径/对应表目录';，更新该表的元数据信息

• 当Spark集成Hive metastore时，spark.sql.warehouse.dir的优先级低于Hive元数据中记录的数据库位置
• 修改hive-site.xml后，必须重启所有Spark和Hive服务，确保新配置加载生效
• 配置文件修改仅影响新创建的元数据，已存在的元数据需通过Hive DDL语句手动更新

内容的提问来源于stack exchange，提问作者skybluelee