如何将Docker中运行的Spark集群连接到本地主机的Hive？

方法一：通过Docker卷挂载共享Hive仓库目录 #

这是最直接的本地测试方案，通过目录挂载让容器访问本地Hive仓库：

1. 启动Spark集群容器时，将本地Hive仓库目录挂载到容器内的对应路径。假设本地Hive仓库路径为/user/hive/warehouse，挂载到容器内相同路径：

   # Spark Master容器启动示例，Worker容器需执行同样挂载操作
   docker run -d \
     -v /user/hive/warehouse:/user/hive/warehouse \
     --name spark-master \
     bitnami/spark:latest master
   

2. 保持PySpark配置中的hive.metastore.warehouse.dir为容器内的挂载路径，同时确认本地Hive Metastore允许外部访问：

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .appName("Ingest Data") \
       .config("hive.metastore.uris", "thrift://host.docker.internal:9083") \
       .config("hive.metastore.warehouse.dir", "/user/hive/warehouse") \
       .enableHiveSupport() \
       .getOrCreate()
   
   sc = spark.sparkContext
   

3. 权限检查：确保本地/user/hive/warehouse目录的读写权限开放给Docker容器内的运行用户（通常为spark用户），可通过修改本地目录权限或指定容器运行用户解决。

方法二：使用分布式存储（如HDFS）统一存储Hive仓库 #

该方案更适合生产环境，彻底消除本地路径依赖：

1. 修改Hive的hive-site.xml，将仓库目录配置为HDFS路径：

   <property>
       <name>hive.metastore.warehouse.dir</name>
       <value>hdfs://your-hdfs-host:9000/user/hive/warehouse</value>
   </property>
   

2. 配置Spark容器访问HDFS：将本地HDFS的core-site.xml和hdfs-site.xml拷贝到Spark容器的conf目录下。
3. PySpark配置中直接使用HDFS路径作为仓库目录：

   from pyspark.sql import SparkSession
   
   spark = SparkSession \
       .builder \
       .appName("Ingest Data") \
       .config("hive.metastore.uris", "thrift://host.docker.internal:9083") \
       .config("hive.metastore.warehouse.dir", "hdfs://your-hdfs-host:9000/user/hive/warehouse") \
       .enableHiveSupport() \
       .getOrCreate()
   
   sc = spark.sparkContext
   

额外注意事项 #

• 确认本地Hive Metastore服务已启动，且防火墙开放9083端口，允许Docker容器通过host.docker.internal访问。
• Linux系统中，Docker默认不支持host.docker.internal，需在容器启动命令中添加--add-host host.docker.internal:host-gateway参数完成映射。

内容的提问来源于stack exchange，提问作者Eya