SparkContext初始化遇SSL握手错误，K8s集群提交Spark作业受阻求助

我来帮你一步步拆解解决这两个Spark相关的问题：

一、SparkContext初始化时的javax.net.ssl.SSLHandshakeException错误处理 #

这个错误基本都是SSL证书或协议层面的问题，常见解决思路如下：

• 证书未被JVM信任
  当Spark连接的服务（比如HDFS、K8s API Server）使用的SSL证书不在JVM默认信任存储中时，就会触发这个错误。你可以：

  1. 将证书导入JVM的cacerts存储（默认密码是changeit）：

     keytool -import -alias spark-trust-cert -file /path/to/your/certificate.crt -keystore $JAVA_HOME/jre/lib/security/cacerts -storepass changeit
     

  2. 或者在Spark启动时指定自定义信任存储（更灵活，适合多环境）：

     --conf spark.driver.extraJavaOptions="-Djavax.net.ssl.trustStore=/path/to/truststore.jks -Djavax.net.ssl.trustStorePassword=your-store-pass"
     --conf spark.executor.extraJavaOptions="-Djavax.net.ssl.trustStore=/path/to/truststore.jks -Djavax.net.ssl.trustStorePassword=your-store-pass"
     

• SSL协议版本不兼容
  部分旧服务可能只支持低版本SSL协议，但JVM默认禁用了不安全的协议。你可以指定Spark使用兼容的TLS版本：

  --conf spark.driver.extraJavaOptions="-Dhttps.protocols=TLSv1.2,TLSv1.3"
  --conf spark.executor.extraJavaOptions="-Dhttps.protocols=TLSv1.2,TLSv1.3"
  

  注意：生产环境不要启用SSLv3这类不安全的协议。

• 主机名验证失败
  如果证书中的主机名（CN/SAN字段）和你实际连接的主机名不匹配，也会握手失败。测试环境可以临时禁用主机名验证（生产环境建议修正证书配置）：

  --conf spark.driver.extraJavaOptions="-Djavax.net.ssl.hostnameVerifier=com.sun.net.ssl.internal.www.protocol.https.X509HostnameVerifier$AllowAllHostnameVerifier"
  

二、Kubernetes集群提交Spark作业的问题排查 #

从你给出的截断命令来看，大概率是配置不完整或参数错误，先给你一个完整的参考提交命令，再逐一排查问题：

完整参考提交命令 #

bin/spark-submit -v \
  --master k8s://https://$MYHOST:6443 \
  --deploy-mode cluster \
  --name spark-pi \
  --class org.apache.spark.examples.SparkPi \
  --conf spark.executor.instances=5 \
  --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
  --conf spark.kubernetes.container.image=apache/spark:3.5.0 \
  local:///opt/spark/examples/jars/spark-examples_2.12-3.5.0.jar

核心问题排查点 #

• API Server地址错误
  你用的http://$MYHOST:8080是K8s Dashboard的地址，Spark需要连接K8s API Server的地址，默认是https://$MYHOST:6443。可以通过kubectl cluster-info命令查看正确的API Server地址。

• 缺少容器镜像配置
  必须通过spark.kubernetes.container.image指定包含Spark环境的容器镜像，官方提供预构建镜像（比如apache/spark:3.5.0），也可以自己构建符合要求的镜像。

• ServiceAccount权限不足
  确保spark这个ServiceAccount拥有足够的K8s权限（比如创建Pod、Service、ConfigMap等）。可以创建以下RBAC配置并应用：

  apiVersion: rbac.authorization.k8s.io/v1
  kind: Role
  metadata:
    name: spark-role
  rules:
  - apiGroups: [""]
    resources: ["pods", "services", "configmaps"]
    verbs: ["create", "get", "list", "delete", "watch"]
  ---
  apiVersion: rbac.authorization.k8s.io/v1
  kind: RoleBinding
  metadata:
    name: spark-role-binding
  subjects:
  - kind: ServiceAccount
    name: spark
    namespace: default
  roleRef:
    kind: Role
    name: spark-role
    apiGroup: rbac.authorization.k8s.io
  

  执行kubectl apply -f spark-rbac.yaml完成配置。

• 镜像拉取失败
  如果使用私有镜像仓库，需要通过spark.kubernetes.container.image.pullSecrets指定拉取密钥；如果是公开镜像，确保集群节点能访问镜像仓库。

• 查看Driver Pod日志
  提交失败后，先用kubectl get pods查看Driver Pod的状态，再用kubectl logs <driver-pod-name>查看具体错误日志，这是定位问题最直接的方式。

内容的提问来源于stack exchange，提问作者Mshah