你在Docker部署Hive后，用PySpark连接查询pokes表时遇到报错，我之前处理过类似场景，大概率是这几个环节出了问题，可以逐一排查：

1. 检查Docker Hive的端口映射是否正确 #

你在Spark配置里用了thrift://localhost:9083连接metastore，但如果Docker容器没把9083端口映射到宿主机，PySpark根本连不上容器内的metastore服务：

• 执行docker ps查看容器端口映射，确认是否有0.0.0.0:9083->9083/tcp这一行；
• 如果没有，停止容器后重新启动，加上端口映射参数：docker run -p 9083:9083 [你的Hive容器镜像名称/ID]

2. 确认Hive Metastore服务在容器内正常运行 #

即使端口映射了，容器里的metastore没启动的话，连接还是会失败：

• 进入容器：docker exec -it [容器ID/名称] bash
• 执行ps aux | grep metastore，查看是否有metastore进程；
• 如果没有，启动metastore后台服务：nohup hive --service metastore &

3. 排查Hive表的存储路径访问问题 #

Docker里的Hive默认把表数据存在容器内部路径（本地文件系统或容器内HDFS），宿主机上的PySpark无法直接访问容器内文件，会导致查询时找不到数据：

• 方法一：启动Hive容器时，把Hive仓库目录挂载到宿主机，比如：

  docker run -p 9083:9083 -v /宿主机本地路径/hive_warehouse:/容器内hive仓库路径（比如/user/hive/warehouse） [Hive镜像]
  

• 方法二：在SparkSession配置里，指定spark.sql.warehouse.dir为宿主机挂载的仓库路径：

  spark = SparkSession \
      .builder \
      .appName("Python Spark SQL Hive integration example") \
      .config("hive.metastore.uris", "thrift://localhost:9083") \
      .config("spark.sql.warehouse.dir", "/宿主机挂载的hive仓库路径") \
      .enableHiveSupport() \
      .getOrCreate()
  

4. 检查Spark和Hive的版本兼容性 #

不同版本的Spark和Hive可能存在兼容性问题，比如Spark 2.4.x搭配Hive 3.x就容易出问题：

• 查看PySpark版本：执行spark-submit --version；
• 查看Docker里Hive版本：进入容器后执行hive --version；
• 尽量选择官方推荐的兼容版本，比如Spark 3.3.x对应Hive 2.3.9或3.1.3，Spark 2.4.x对应Hive 1.2.2或2.3.7。

快速定位问题的测试方法 #

先执行spark.sql("SHOW TABLES").show()：

• 如果这一步报错，说明是metastore连接问题（回到前两点排查）；
• 如果能列出pokes表但查数据报错，说明是数据路径问题（看第三点）。

内容的提问来源于stack exchange，提问作者vicrab