使用pack build构建Spark应用时依赖Buildpack未找到问题求助

第一个报错：找不到spark-init buildpack #

大概率是依赖声明或镜像拉取的问题，按以下步骤检查：

• 核对buildpack依赖配置：打开spark buildpack的buildpack.toml，找到[[order.group]]里关于spark-init的条目，确保id和version和你打包的镜像完全一致（比如MYREGISTRY/buildpacks/spark-init和0.0.1），不能有拼写错误。
• 验证镜像可拉取：在终端执行docker pull MYREGISTRY/buildpacks/spark-init:0.0.1，如果拉取不到，说明镜像没正确推送到仓库，或者仓库权限受限——先登录对应私有仓库（docker login MYREGISTRY），再重新推送镜像。
• 让pack信任私有仓库：如果是私有镜像仓库，需要执行pack config add trusted-buildpack-registries MYREGISTRY，否则pack会拒绝拉取该仓库的buildpack。
• 本地buildpack要指定路径：如果你没把spark buildpack发布到仓库，只是本地开发，执行pack build时不能只写--buildpack spark，要写本地路径比如--buildpack ./spark-buildpack，这样pack才能读取本地配置里的依赖。

第二个报错：手动指定spark-init后找不到Java Buildpack #

这是因为spark buildpack依赖Java Buildpack，但你手动指定buildpack后，pack没有自动加载这个依赖，解决方法：

• 检查spark buildpack的order配置：打开buildpack.toml，确保[[order]]下的[[order.group]]包含Java Buildpack的声明，比如：

  [[order]]
  [[order.group]]
  id = "MYREGISTRY/buildpacks/spark-init"
  version = "0.0.1"
  [[order.group]]
  id = "paketo-buildpacks/java" # 替换成你实际使用的Java Buildpack ID
  version = "9.x" # 对应版本号
  [[order.group]]
  id = "your.spark.buildpack.id" # 你的spark buildpack的ID
  version = "0.0.1"
  

  这样pack会按顺序加载所有依赖的buildpacks。
• 手动指定所有依赖的buildpack：如果Java Buildpack是本地或私有仓库的，在build命令里一起指定，比如：

  pack build test-spark-app --path /path/to/some/spark/app --buildpack ./spark-init --buildpack ./java-buildpack --buildpack ./spark
  

• 设置默认buildpack：如果常用Java Buildpack，可以把它加入pack的默认列表，执行pack config add default-buildpacks paketo-buildpacks/java（替换成你的Java Buildpack ID），这样pack会自动加载它。

新手易踩的坑 #

• 打包buildpack时，pack package-buildpack命令的tag要和buildpack.toml里的version完全一致，比如你打包spark-init用了MYREGISTRY/buildpacks/spark-init:0.0.1，那配置里的version必须是0.0.1。
• 本地buildpack必须用路径指定，不能直接写名字，除非你已经通过pack config add把它加入了默认buildpack列表。

内容的提问来源于stack exchange，提问作者rabejens