问题1：Unix Shell终端中无法查看Spark创建的Hive表 #

这种情况最常见的原因是Spark和Hive Shell使用了不同的元数据存储（Metastore），导致两边的元数据完全不共享。

举个典型场景：默认情况下，Spark如果没配置Hive Metastore，会用嵌入式的Derby数据库做元存储，这个Derby文件是临时的，每次启动Spark应用都会生成在当前工作目录；而你的Hive Shell大概率配置了远程Metastore（比如MySQL）或者另一个独立的本地Derby文件，两边元数据完全独立，自然看不到对方创建的表。

另外还有两种可能：一是Spark创建表时指定了自定义存储路径，而Hive Shell的用户没有该路径的访问权限；二是你在Spark中切换到了某个特定数据库，但在Hive Shell中默认停留在default库，没切换过去导致看不到表。

问题2：Shell与Spark创建的Hive表是否一致？为何列表不同？如何修复？ #

是否完全一致？ #

如果Spark和Hive Shell使用同一个Hive Metastore配置，且创建表时的参数（存储格式、路径、分区、字段等）完全相同，那两者创建的表是100%一致的——本质上都是在Hive元数据中注册的表，底层数据也指向同一个存储位置。

为什么表/数据库列表不同？ #

核心原因还是元数据存储不共享或配置不一致：

• Spark用了独立的嵌入式Derby元存储，而Hive Shell用了远程Metastore（如MySQL）；
• 两边的hive-site.xml关键配置不一致，比如hive.metastore.uris（远程Metastore地址）、javax.jdo.option.ConnectionURL（本地数据库JDBC地址）、hive.metastore.warehouse.dir（Hive仓库路径）等参数不同；
• 表所在的数据库不一致，比如Spark在test_db创建表，但你在Hive Shell中默认停留在default库；
• 元数据缓存延迟，两边的元数据没有及时同步。

修复步骤 #

1. 统一Metastore配置

   • 找到Hive Shell使用的hive-site.xml（通常在$HIVE_HOME/conf目录下），将这个文件复制到Spark的配置目录（$SPARK_HOME/conf）；如果是Eclipse中的Scala项目，把hive-site.xml放到项目的src/main/resources目录下，确保Spark应用启动时加载这个配置。
   • 重点核对以下配置项：
     • hive.metastore.uris：如果是远程Metastore，需指向统一的Thrift服务地址（比如thrift://your-host:9083）；
     • javax.jdo.option.ConnectionURL：如果用本地数据库（如MySQL），JDBC URL要和Hive的配置完全一致；
     • hive.metastore.warehouse.dir：确保两边的Hive仓库路径相同，避免表存储在不同位置。

2. 确认数据库与存储路径

   • 在Spark中执行spark.sql("USE your_target_db")切换到目标库，在Hive Shell中也执行USE your_target_db，再查看表列表；
   • 分别在Spark和Hive Shell中执行DESCRIBE EXTENDED your_table，核对表的存储路径是否一致。如果路径不同，说明创建表时指定了自定义路径，需要统一路径或调整权限让两边都能访问。

3. 刷新元数据

   • 如果是元数据缓存延迟，在Hive Shell中执行MSCK REPAIR TABLE your_table修复表元数据；
   • 在Spark中执行spark.catalog.refreshTable("your_target_db.your_table")或spark.sql("REFRESH TABLE your_table")来同步元数据。

4. 检查权限

   • 确保Spark应用运行的用户和Hive Shell的用户，对表的存储路径有相同的读写权限，避免因权限问题导致表无法被读取。

内容的提问来源于stack exchange，提问作者sai