Spark Worker如何回传结果？K8s环境下连接异常咨询

Spark Worker的通信机制 #

Spark Worker确实会直接和Driver进程（也就是你本地笔记本上的PySpark进程）通信，而非通过Master中转。Master仅负责资源调度、任务分配和集群状态管理，实际计算任务的执行结果、状态反馈等，都是Worker直接发送给Driver的。这就是为什么Worker会尝试连接你笔记本的本地地址——它需要把spark.range(1).count()的计算结果回传给Driver。

解决方案 #

方案1：在集群内发起PySpark/Spark-submit（推荐） #

这是最直接且稳定的方式：在Kubernetes集群内部的容器（比如和Spark Master同集群的Pod）中执行PySpark命令或提交作业，示例命令如下：

pyspark --master spark://<spark-master-service-name>:7077

或者用spark-submit提交脚本：

spark-submit --master spark://<spark-master-service-name>:7077 your_script.py

此时Driver运行在集群内部，和Worker处于同一个网络环境，通信不会出现地址不可达的问题。

方案2：配置Driver的可访问地址（适合必须本地运行Driver的场景） #

如果一定要在本地笔记本运行Driver，需要让K8s集群内的Worker能访问到你的笔记本：

• 设置spark.driver.host为你的笔记本在局域网内的可访问IP（比如192.168.x.x）
• 设置spark.driver.port为一个固定端口（比如4040）
• 确保你的笔记本防火墙开放该端口，且K8s集群能通过网络访问到这个IP和端口

启动PySpark时的命令示例：

pyspark --master spark://localhost:7077 --conf spark.driver.host=192.168.1.100 --conf spark.driver.port=4040

不过这种方式依赖网络环境的连通性，配置相对繁琐，不如方案1可靠。

注：没有直接让Worker通过Master中转数据的Spark配置项，因为Spark的设计就是Worker和Driver直接通信以降低延迟和Master的负载。

内容的提问来源于stack exchange，提问作者mj_