通过Spark连接Hive创建表时提示raw数据库不存在如何解决

问题排查及解决方案 #

你遇到的NoSuchDatabaseException: Database 'raw' not found错误，本质是Spark访问的Hive元数据库和你确认存在raw库的元数据库不是同一个，可按以下顺序排查：

• 确认配置的metastore地址实际生效
  在创建SparkSession后新增一行打印配置，验证是否和你设置的地址一致，避免提交参数、集群默认配置覆盖代码中写的配置：

  println(spark.conf.get("hive.metastore.uris"))
  

• 验证metastore连通性
  在提交Spark任务的节点上，使用beeline连接同一个thrift://myserver.domain.local:9083地址，执行SHOW DATABASES;确认可以看到raw库，排除网络不通、9083端口未开放、metastore服务异常的问题。
• 补充hive-site.xml配置
  仅在代码中配置metastore地址不足以保证Spark连接目标Hive集群，需要将Hive服务端的hive-site.xml文件放置在项目的resources目录（本地运行），或提交集群任务时通过--files hive-site.xml参数携带该文件，否则Spark会默认使用内置的Derby元数据库，自然看不到你在Hive中创建的raw库。
• 检查权限与大小写
  部分版本的Hive Metastore在当前访问用户无目标库权限时，会直接返回库不存在而非权限错误，可先确认Spark连接metastore使用的用户（默认是任务提交的系统用户名）有raw库的访问权限；同时确认raw库名的实际大小写，避免拼写不匹配。

你可以先执行spark.sql("SHOW DATABASES").show()看输出结果，如果仅返回default库，就可以确定Spark没有连接到你目标的Hive metastore，优先排查前三项即可。

内容的提问来源于stack exchange，提问作者hampi2017