Spark DataFrame无法创建临时视图问题求助

看起来你在尝试通过Spark Shell连接Hive、读取表数据时遇到了MetaStore连接失败的问题，我来帮你梳理问题并给出修复方案。

首先，先还原你使用的代码：

启动Spark Shell的命令：

spark-shell --master yarn

后续的Scala代码：

val hive_location = "hive_meta_loc"
val spark = org.apache.spark.sql.SparkSession.builder()
  .appName("WNGDEVICES")
  .config("spark.sql.warehouse.dir", "hive_location")
  .enableHiveSupport()
  .getOrCreate()
val rawdata = spark.sql("SELECT * from <table name>")
rawdata.createOrReplaceTempView("Rawdata")

你遇到的错误截图如下：

问题分析 #

从错误信息和你的代码来看，主要存在以下几个问题：

• 变量引用错误：你定义了hive_location变量来存储Hive仓库路径，但在配置spark.sql.warehouse.dir时，你传的是字符串"hive_location"而不是变量本身。这样Spark会把这个字符串当作实际路径，而不是你想要指向的真实仓库地址。
• 缺少Hive MetaStore地址配置：错误提示"Could not connect to meta store using any of the URIs provided"，说明Spark不知道该连接哪个Hive MetaStore服务，缺少关键的hive.metastore.uris配置。
• Hive MetaStore服务未启动：如果你的Hive MetaStore服务没有运行，Spark自然无法建立连接，这也是常见的原因之一。

修复步骤 #

1. 修正变量引用
   把配置中的字符串改为变量引用，去掉引号，让Spark读取你定义的真实路径：

   .config("spark.sql.warehouse.dir", hive_location)
   

2. 添加Hive MetaStore URI配置
   在SparkSession构建时，添加Hive MetaStore的thrift地址（请根据你的实际部署地址修改，比如thrift://your-metastore-host:9083）：

   val spark = org.apache.spark.sql.SparkSession.builder()
     .appName("WNGDEVICES")
     .config("spark.sql.warehouse.dir", hive_location)
     .config("hive.metastore.uris", "thrift://localhost:9083") // 替换为你的MetaStore地址
     .enableHiveSupport()
     .getOrCreate()
   

3. 确保Hive MetaStore服务运行
   在服务器终端执行以下命令启动Hive MetaStore（如果尚未启动）：

   hive --service metastore &
   

4. 配置文件优化（可选但推荐）
   把Hive的hive-site.xml文件复制到Spark的conf目录下，这样Spark会自动读取Hive的所有配置，不需要手动在代码中逐个配置，能避免很多连接问题。

内容的提问来源于stack exchange，提问作者Sasidhar reddy Yarramreddy