Spark连接远程Cloudera Hive失败，默认创建本地仓库的技术求助

我来帮你捋捋这个问题——你碰到的是Spark客户端默认 fallback 到本地Hive仓库的典型情况，虽然spark-shell能正常连远程集群，但Spring项目里因为配置加载优先级或者代码细节没处理到位，导致没连上目标集群。下面是你需要检查和调整的关键点：

这些是决定Spark能否连接远程Hive的核心配置，必须逐一确认：

• 确认hive-site.xml的核心配置：重中之重是hive.metastore.uris，必须设置为远程Cloudera集群的Metastore Thrift服务地址，格式为thrift://<metastore-host-ip>:9083。如果这个配置缺失或错误，Spark会默认启动本地Derby作为元数据存储。
• 配置文件的加载路径：Spark优先读取HADOOP_CONF_DIR环境变量指向的目录下的配置文件，而不是只依赖SPARK_CONF_DIR。在Spring项目的运行配置里，一定要手动指定HADOOP_CONF_DIR指向你存放hive-site.xml、hdfs-site.xml等文件的目录，避免IDE默认的classpath加载优先级覆盖了正确配置。
• winutils版本匹配：你设置的HADOOP_HOME指向的winutils版本，必须和远程Cloudera集群的Hadoop版本完全一致，版本不匹配会导致HDFS连接失败，间接让Spark fallback到本地模式。
• 清理本地元数据缓存：如果之前用本地模式运行过代码，你的用户目录下会生成metastore_db文件夹和spark-warehouse目录，直接删掉这两个文件夹，避免Spark复用本地元数据。

你的SparkSession构建代码有语法错误，同时硬编码的本地模式也会强制Spark使用本地仓库，需要调整：

1. 先修正代码里的语法问题：

   println("-----------------------------------------------------------------before")
   val spark = SparkSession
     .builder()
     .appName("API")
     // 去掉硬编码的local模式，让Spark从配置文件读取集群模式
     .enableHiveSupport()
     .getOrCreate()
   println("--------------------------------------------------------------------Session was created")
   

2. 如果配置文件加载仍有问题，可以在代码里显式指定Metastore URI，强制覆盖默认配置：

   val spark = SparkSession
     .builder()
     .appName("API")
     .config("hive.metastore.uris", "thrift://<你的Metastore主机IP>:9083")
     .config("spark.master", "yarn") // Cloudera集群通常用YARN模式，可根据实际情况调整
     .enableHiveSupport()
     .getOrCreate()
   

   注意：不要硬编码master("local[*]")，这会强制Spark在本地运行，完全绕过远程集群配置。

如果上面的调整还是不行，可以通过这些方式定位问题：

• 开启Spark DEBUG日志：在Spring项目的日志配置里，把org.apache.spark和org.apache.hadoop的日志级别设为DEBUG，查看配置文件是否被正确加载，比如搜索“Loading configuration file”关键词，确认hive-site.xml里的hive.metastore.uris是否被读取到。
• 验证配置文件有效性：把你的配置文件复制到spark-shell的conf目录，运行spark-shell --verbose，查看控制台输出的配置加载日志，对比Spring项目里的日志，看是否有差异。
• 检查网络连通性：用telnet <metastore-host> 9083测试开发机器到远程Metastore服务的端口连通性，确保没有防火墙或网络策略阻止连接。

内容的提问来源于stack exchange，提问作者JeyJ