PySpark3.1.2对接AWS RDS元存储无法实例化SessionHiveMetaStoreClient报错求助

• 修正JDBC驱动类配置
  你使用的mysql-connector-java 6.0.6属于6.x版本驱动，原有配置里的com.mysql.jdbc.Driver是5.x版本的驱动类名，6.x及以上版本需要修改为com.mysql.cj.jdbc.Driver，更新spark-defaults.conf里的对应配置项即可。
• 初始化RDS中的元数据数据库
  你在RDS中创建的metastore库需要先导入Hive元数据表结构才能被Spark识别，不需要单独安装Hive，直接用Spark自带的schematool工具执行初始化即可：
  执行命令：$SPARK_HOME/bin/schematool -dbType mysql -initSchema
  执行前请确认配置的数据库账号对metastore库有建表、读写权限。
• 补充缺失的必填配置
  在spark-defaults.conf中追加以下必要配置项：

# 可替换为你实际的存储路径，本地路径前缀为file://，S3路径前缀为s3a://
spark.sql.warehouse.dir file:///home/spark/spark-warehouse
# 若使用S3存储数据则追加该项，用本地存储可省略
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem

• 确认网络连通性
  确认运行Spark的设备所属安全组已放开RDS实例3306端口的访问权限，RDS实例的公网访问规则（若跨VPC访问）已配置正确，metastore库已提前创建完成。
• 关于Hadoop、Hive依赖说明
  不需要单独安装完整的Hadoop、Hive组件，Spark 3.1.2内置了对应版本的Hive、Hadoop依赖包，你当前配置的hadoop-aws、aws-java-sdk版本和Spark内置版本匹配，无需额外调整。

所有配置修改完成后重启Spark进程，再运行测试代码即可。

内容的提问来源于stack exchange，提问作者user1531248