PySpark运行时导入JAR包问题：Jupyter中连接MongoDB遇阻

我完全懂你的困扰——用Jupyter Notebook搭配findspark来启动Spark，想要连接已经搭好的MongoDB集群，却卡在了动态导入Mongo驱动这一步。网上大多教程都是基于spark-submit的，和你用findspark的场景不太契合，而且之前试了spark.jars参数还出了错对吧？别着急，咱们一步步来解决：

核心前提确认 #

Spark确实支持运行时动态添加依赖包，只是在findspark的场景下，配置方式和spark-submit略有不同，重点要在Spark上下文初始化前就把依赖配置好。

可行的解决方案 #

方法1：初始化SparkSession时指定本地jar包路径 #

如果你已经手动下载了MongoDB Spark连接器及其依赖的jar包（比如mongodb-spark-connector_2.12-3.0.1.jar和mongo-java-driver-3.12.11.jar），可以在构建SparkSession时直接指定这些jar的路径：

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MongoDBConnection") \
    .config("spark.jars", "/path/to/mongodb-spark-connector_2.12-3.0.1.jar,/path/to/mongo-java-driver-3.12.11.jar") \
    .config("spark.mongodb.input.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .config("spark.mongodb.output.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .getOrCreate()

注意：多个jar路径用逗号分隔，路径要写绝对路径，避免找不到文件的问题。

方法2：通过Maven坐标自动下载依赖（推荐） #

如果你的环境能连接外网，直接用spark.jars.packages参数指定连接器的Maven坐标，Spark会自动下载对应的驱动和所有依赖包，不用手动找jar：

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MongoDBConnection") \
    .config("spark.jars.packages", "org.mongodb.spark:mongodb-spark-connector_2.12:3.0.1") \
    .config("spark.mongodb.input.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .config("spark.mongodb.output.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .getOrCreate()

关键提示：要确保连接器的Scala版本后缀（比如_2.12）和你的Spark内置的Scala版本一致，Spark 3.x通常搭配Scala 2.12，Spark 2.x可能是2.11。

方法3：用findspark的add_jars方法提前添加依赖 #

findspark本身提供了添加jar的API，可以在初始化Spark前先把jar包加进去：

import findspark
# 添加单个或多个jar，路径用逗号分隔
findspark.add_jars("/path/to/mongodb-spark-connector_2.12-3.0.1.jar,/path/to/mongo-java-driver-3.12.11.jar")
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MongoDBConnection") \
    .config("spark.mongodb.input.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .config("spark.mongodb.output.uri", "mongodb://<your-mongo-cluster-uri>/<db>.<collection>") \
    .getOrCreate()

常见错误排查 #

• 版本不兼容：一定要保证Spark版本、MongoDB版本、Spark连接器版本三者匹配，比如连接器3.0.x支持Spark 3.0+和MongoDB 4.0+
• 路径错误：本地jar路径要写绝对路径，或者确保jar在当前工作目录下
• 依赖缺失：如果手动下载jar，别忘了同时下载mongo-java-driver，它是连接器的核心依赖

内容的提问来源于stack exchange，提问作者Romain Jouin