K8s集群Spark连接大数据工具报错，求解决方案

核心问题定位 #

你的错误根源是端口用途混淆：

• Spark Master的7077是RPC通信端口，用于Worker、Driver和Master之间的内部协议通信，不支持HTTP请求。
• JetBrains大数据工具在尝试向7077端口发送HTTP GET请求/api/v1/version，这完全不符合Spark RPC端口的协议规范，导致：
  • Spark端出现Too large frame错误：Netty解码器无法解析HTTP协议的帧结构，把HTTP请求头当成了RPC帧的长度字段，计算出异常大的数值。
  • 工具端出现NoHttpResponseException：因为Spark RPC端口不会返回HTTP响应，工具收不到预期的结果。

解决方案 #

1. 修正工具连接端口
   将工具中配置的连接端口，替换为Spark UI对应的NodePort（你提到该端口已通过NodePort正常暴露且可访问），而非7077。Spark的REST监控API（包括/api/v1/version）是部署在Spark UI端口上的。

2. 验证REST接口可用性
   先通过curl手动验证接口是否正常：

   curl http://172.31.88.129:<Spark_UI_NodePort>/api/v1/version
   

   正常情况下会返回类似如下的JSON响应：

   {"version": "3.3.0"}
   

3. 确认K8s端口映射配置
   检查Spark UI的Service配置，确保NodePort正确转发到Spark Master Pod的Spark UI监听端口（默认是8080）：

   # 示例Spark UI Service配置
   apiVersion: v1
   kind: Service
   metadata:
     name: spark-ui
   spec:
     type: NodePort
     ports:
       - port: 8080
         targetPort: 8080
         nodePort: <你的NodePort>
     selector:
       app: spark-master
   

4. 区分作业提交与监控端口
   如果你的工具同时需要提交Spark作业，那作业提交用7077端口（RPC端口），而监控/REST接口用Spark UI端口，两个配置项要分开设置，不要混用。

内容的提问来源于stack exchange，提问作者chengzhangpei