Spark ThriftServer阻塞Spark SQL/Shell运行问题咨询

完全可以同时运行Spark ThriftServer和HiveServer2，你遇到的阻塞问题大概率是配置冲突或资源/依赖问题导致的，以下是具体排查方向和解决方法：

1. 端口冲突（最常见原因） #

Spark ThriftServer默认监听10000端口，而HiveServer2的默认端口也是10000，两者同时启动会抢占同一端口，导致后续的spark-sql/spark-shell无法正常绑定资源。

解决方法：

• 修改Spark ThriftServer的端口，在spark-defaults.conf中添加配置：

  spark.sql.thriftServer.port 10002
  

• 或者在启动Spark ThriftServer时通过命令行指定端口：

  start-thriftserver.sh --conf spark.sql.thriftServer.port=10002
  

• 同时在Docker Compose配置中，确保Spark ThriftServer容器的端口映射使用修改后的端口，避免容器内外端口冲突。

2. Hive Metastore 连接冲突 #

如果你的Spark和Hive默认使用嵌入式Derby数据库作为Metastore存储，Derby不支持多客户端同时连接，当Spark ThriftServer占用Derby连接后，spark-sql/spark-shell会因无法获取Metastore连接而阻塞。

解决方法：

• 统一使用远程Hive Metastore服务（比如部署独立的Metastore容器，搭配MySQL/PostgreSQL作为底层存储）。
• 在Spark的hive-site.xml和Hive的hive-site.xml中配置相同的Metastore地址：

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://metastore:9083</value>
  </property>
  

• 确保Metastore服务先于Spark ThriftServer、HiveServer2启动，保证两者能正常连接到Metastore。

3. 容器资源限制不足 #

如果Docker Compose未给容器分配足够的CPU/内存资源，Spark ThriftServer启动后可能占满容器资源，导致后续启动的spark-sql/spark-shell无法申请到足够资源而阻塞。

解决方法：

• 在Docker Compose的服务配置中添加资源限制，示例：

  services:
    spark-thriftserver:
      deploy:
        resources:
          limits:
            cpus: '2.0'
            memory: 4G
          reservations:
            cpus: '1.0'
            memory: 2G
    spark-client:
      deploy:
        resources:
          limits:
            cpus: '1.0'
            memory: 2G
  

4. 配置文件覆盖或不一致问题 #

如果多个容器共享了同一配置文件目录，可能导致Spark的Hive配置被Hive容器的配置覆盖，或者两者的Metastore、端口配置不一致，引发冲突。

解决方法：

• 确保每个容器的配置文件独立，Spark容器的spark-defaults.conf、hive-site.xml与Hive容器的配置保持一致（尤其是Metastore相关配置）。
• 检查Spark ThriftServer启动时的日志，确认加载的配置文件路径和参数是否正确。

排查步骤 #

1. 进入Spark ThriftServer容器，执行netstat -tulpn查看端口占用情况，确认10000端口是否被占用。
2. 查看Spark ThriftServer和spark-sql的启动日志，查找端口冲突、Metastore连接失败等报错信息。
3. 验证Hive Metastore服务是否正常运行，执行beeline -u jdbc:hive2://hiveserver2:10000测试HiveServer2连接，执行beeline -u jdbc:hive2://spark-thriftserver:10002测试Spark ThriftServer连接。

内容的提问来源于stack exchange，提问作者shinkou