如何在Python Spark Jupyter Notebook中从HDFS程序化加载Jar包？

1. 初始化SparkSession时配置spark.jars（官方推荐） #

这是最规范的程序化方式，直接在创建SparkSession时指定HDFS上Jar包的完整URI：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("YourApp") \
    .config("spark.jars", "hdfs://<namenode地址>:<端口>/path/to/target.jar") \
    .getOrCreate()

注意：

• 必须用完整HDFS URI，别只写相对路径或省略namenode地址（除非集群默认配置了）
• 集群所有节点要能访问该HDFS路径，检查好权限和网络连通性
• 多Jar包用逗号分隔："hdfs://path1.jar,hdfs://path2.jar"

2. 动态添加Jar包（Session创建后） #

如果需要在Session启动后加Jar，用spark.sparkContext.addJar，但要注意路径规范：

sc = spark.sparkContext
sc.addJar("hdfs://<namenode地址>:<端口>/path/to/target.jar")

要是sc.listJars()能看到路径但依赖不生效，大概率是这俩原因：

• Jar里的类需要在SparkContext初始化前加载（比如自定义UDF的依赖），这种情况必须用第一种方法
• Jar包本身损坏或依赖缺失，下载到本地验证下可用性

3. 环境变量预配置（程序化可控） #

如果前两种方法都不行，可在创建Session前通过环境变量传参数，比直接改PYSPARK_SUBMIT_ARGS更规范：

import os
# 必须在SparkSession创建前设置
os.environ["PYSPARK_SUBMIT_ARGS"] = "--jars hdfs://<namenode地址>:<端口>/path/to/target.jar pyspark-shell"

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("YourApp").getOrCreate()

排查小技巧 #

要是还是没效果，先查这几点：

• 在集群节点跑hdfs dfs -ls <Jar路径>，确认文件存在且能访问
• 看driver和executor的日志，找Jar相关的错误（比如权限拒绝、路径不存在）
• 确认Jar包和当前Spark版本兼容（尤其是Scala版本要匹配）

内容的提问来源于stack exchange，提问作者Juh_