Kubernetes上Spark运行Beam应用遇连接失败问题求助

一、先确认端口转发的正确性 #

Beam Spark Job Server默认暴露两个gRPC端口：job端口（默认8099）和artifact端口（默认8098），你需要确保这两个端口都完成转发：

• 正确的端口转发命令需分别执行（可开两个终端或加-d后台运行）：

  kubectl port-forward <beam-job-server-pod-name> 8099:8099
  kubectl port-forward <beam-job-server-pod-name> 8098:8098
  

  替换<beam-job-server-pod-name>为实际的Pod名称，可通过kubectl get pods获取。

二、job_endpoint与artifact_endpoint的正确配置 #

这两个端点必须使用gRPC协议格式，本地通过端口转发连接时的配置规则如下：

• 格式：grpc://localhost:<转发的端口>
• 示例代码（在你的beam-application.py中配置）：

  from apache_beam.options.pipeline_options import PipelineOptions
  from apache_beam.runners.spark.spark_runner import SparkRunnerOptions
  
  options = PipelineOptions()
  spark_options = options.view_as(SparkRunnerOptions)
  # 配置Job Server的gRPC端点
  spark_options.job_endpoint = "grpc://localhost:8099"
  spark_options.artifact_endpoint = "grpc://localhost:8098"
  spark_options.runner = "SparkRunner"
  

  注意：必须指定grpc://协议头，不能用http://或省略协议，否则会导致gRPC连接失败。

三、额外排查要点 #

• 版本一致性：本地Conda环境的Beam版本必须和K8s中Job Server的Beam版本完全一致，版本不匹配会引发gRPC协议兼容问题，导致连接失败。
• 端口连通性验证：用grpcurl工具测试端口是否正常提供gRPC服务：

  grpcurl -plaintext localhost:8099 list
  grpcurl -plaintext localhost:8098 list
  

  若能返回gRPC服务列表，说明端口转发和服务正常，问题出在代码配置；若仍提示连接失败，检查端口是否被本地进程占用，或Pod是否真的在监听8098/8099端口。
• 检查Job Server日志：执行kubectl logs <beam-job-server-pod-name>，确认日志中存在“Listening on port 8098”“Listening on port 8099”之类的启动成功信息。

内容的提问来源于stack exchange，提问作者user19930511