JupyterHub中K8s客户端模式启动Spark出现slf4j NoSuchMethodError问题

• 类加载优先级冲突
  该报错本质是实际加载的org.slf4j.helpers.Util类来自低于1.7.25的SLF4J版本，该版本不存在safeGetSystemProperty方法。Java类加载遵循双亲委派规则，高优先级路径下的旧版本类会覆盖你指定的1.7.30版本实现。你可以在Spark启动参数中添加JVM参数-verbose:class，运行作业后搜索日志中org.slf4j.helpers.Util的加载来源，确认实际加载的Jar包路径是否符合预期。需要重点排查的高优先级路径包括：JRE的lib/ext扩展目录、Pod注入的日志采集组件（如Fluentd、Filebeat）自带的依赖、JupyterHub内核预加载的公共类库。
• 用户作业依赖冲突
  如果你提交的作业本身打包了SLF4J相关依赖，且spark.driver.userClassPathFirst、spark.executor.userClassPathFirst参数被设置为true，会优先加载作业包内的类，即便集群侧Jar版本正确也会出现冲突。你可以解压自己的作业Jar包，检查是否包含低版本的SLF4J相关类，或调整上述类路径优先级参数验证。
• 客户端模式驱动环境差异
  客户端模式下Spark驱动实际运行在JupyterHub的内核进程中，而非K8s调度的独立驱动Pod。你需要单独排查JupyterHub内核所在环境的类路径，是否存在其他版本的SLF4J Jar包，比如Jupyter插件、内核初始化脚本额外注入的依赖等。
• Jar包有效性校验
  部分场景下Jar包可能出现损坏、版本号与实际内容不匹配的情况，你可以执行命令javap -cp slf4j-api-1.7.30.jar org.slf4j.helpers.Util，检查输出中是否存在public static java.lang.String safeGetSystemProperty(java.lang.String)方法，确认当前Jar包的实际内容和版本匹配。
• Spark发行版适配问题
  如果你使用的是二次定制的Spark发行版（如CDH、HDP版），这类发行版通常会修改内置日志框架的绑定实现，自行替换SLF4J Jar包可能和定制化代码不兼容，建议使用发行版官方匹配的SLF4J依赖版本。

内容的提问来源于stack exchange，提问作者Marc Reyes