如何解决IBM Cloud Kubernetes集群部署Spark示例Jar文件失败问题？

我之前在IBM Cloud的K8s集群上部署Spark应用时也踩过几乎一模一样的坑，结合你的描述，咱们从这几个方向排查试试：

1. 别搞混本地路径和容器内路径！ #

你用的local:///examples/jars/spark-examples_2.11-2.3.0.jar指向的是Kubernetes容器内部的文件，不是你本地机器上的Jar包！这是最容易踩的坑：

• 先确认你指定的<spark-image>镜像里确实有这个文件。可以拉取镜像后进入容器查看：

  docker pull <spark-image>
  docker run -it --rm <spark-image> ls /examples/jars/
  

• 如果镜像里没有这个Jar，要么换用官方带示例包的Spark镜像（比如apache/spark:2.3.0，注意对应你的Spark 2.3.0和Scala 2.11版本），要么自己构建自定义镜像，把本地的Jar复制到镜像的/examples/jars/目录下。

2. 检查spark-submit命令的格式问题 #

看你贴的命令，换行的反斜杠可能在不同系统下导致解析错误（尤其是Windows）。建议要么把命令写成一行，要么调整换行符：

• Linux/macOS用反斜杠换行的正确格式：

  bin/spark-submit \
  --master k8s://<url of my kubernetes cluster> \
  --deploy-mode cluster \
  --name spark-pi \
  --class org.apache.spark.examples.SparkPi \
  --conf spark.executor.instances=5 \
  --conf spark.kubernetes.container.image=<spark-image> \
  local:///examples/jars/spark-examples_2.11-2.3.0.jar
  

• Windows PowerShell下要换成反引号（`）换行：

  bin/spark-submit `
  --master k8s://<url of my kubernetes cluster> `
  --deploy-mode cluster `
  --name spark-pi `
  --class org.apache.spark.examples.SparkPi `
  --conf spark.executor.instances=5 `
  --conf spark.kubernetes.container.image=<spark-image> `
  local:///examples/jars/spark-examples_2.11-2.3.0.jar
  

3. 确认IBM Cloud K8s集群的访问配置 #

有时候集群API地址不对或者本地权限没配置好也会导致奇怪的错误：

• 用IBM Cloud CLI获取正确的集群Master URL：

  ibmcloud ks cluster get --cluster <你的集群名称> | grep "Master URL"
  

• 确保已经通过ibmcloud ks cluster config --cluster <你的集群名称>配置了本地KUBECONFIG，让spark-submit能正常访问集群。

4. 查看Driver Pod日志找具体问题 #

如果上面都没解决，直接看Spark Driver Pod的日志，里面会明确说找不到哪个文件：

# 列出所有Pod，找到带spark-pi前缀的driver pod
kubectl get pods
# 查看日志
kubectl logs <spark-pi-driver-xxxxxx>

日志里的细节能帮你快速定位到底是容器内路径不对，还是其他资源访问问题。

内容的提问来源于stack exchange，提问作者Pascal