如何配置PySpark识别pymongo-spark包位置？Ubuntu环境求助

嘿，第一次搭PySpark和MongoDB的连接确实容易踩类路径相关的坑，我帮你梳理几个关键的排查和解决步骤，应该能帮你搞定：

1. 强制指定Spark的Jar包路径 #

虽然你提到jar已经放到系统类路径，但Spark有时候不会自动识别系统类路径的所有文件，最稳妥的方式是启动时显式指定：

• 直接在终端启动PySpark时带上jar路径：

  pyspark --jars /绝对路径/到你的/mongo-hadoop-spark.jar
  

• 或者修改Spark的默认配置文件（$SPARK_HOME/conf/spark-defaults.conf），添加两行配置（如果文件不存在就新建）：

  spark.driver.extraClassPath /绝对路径/到你的/mongo-hadoop-spark.jar
  spark.executor.extraClassPath /绝对路径/到你的/mongo-hadoop-spark.jar
  

  保存后重启PySpark Shell试试。

2. 检查版本兼容性（重中之重） #

这是新手最容易忽略的点！不同版本的mongo-hadoop对Spark、MongoDB的版本有严格要求：

• 先确认你当前PySpark的版本：执行spark-submit --version查看
• 重新编译mongo-hadoop时，一定要指定和你Spark匹配的版本，比如你的Spark是1.6.3，就进入主目录的git仓库执行：

  ./gradlew clean build -Dspark.version=1.6.3
  

• 同时确认你的MongoDB版本和mongo-hadoop的兼容列表匹配，比如旧版mongo-hadoop可能不支持MongoDB 4.x及以上版本。

3. 验证Jar包的完整性 #

有时候编译出来的Jar可能缺少关键类，你可以用这个命令检查Jar里的内容：

jar tf /绝对路径/到你的/mongo-hadoop-spark.jar | grep "mongo/hadoop/spark"

如果没有输出相关的类文件，说明编译过程有问题，按照上面的步骤重新指定Spark版本编译一次。

4. 正确初始化Spark连接配置 #

在PySpark里，必须正确配置MongoDB参数并确保加载了对应包，比如在Shell里这样写：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MongoTest") \
    .config("spark.mongodb.input.uri", "mongodb://localhost:27017/你的数据库名.你的集合名") \
    .config("spark.mongodb.output.uri", "mongodb://localhost:27017/你的数据库名.你的集合名") \
    .config("spark.jars", "/绝对路径/到你的/mongo-hadoop-spark.jar") \
    .getOrCreate()

如果用的是旧版SparkContext，也需要在Conf里明确指定Jar路径，避免相对路径导致的识别问题。

5. 检查Spark环境变量配置 #

确保SPARK_HOME已经正确设置：

• 执行echo $SPARK_HOME，如果没有输出，就编辑~/.bashrc添加：

  export SPARK_HOME=/你的Spark安装路径
  export PATH=$SPARK_HOME/bin:$PATH
  

  然后执行source ~/.bashrc让配置生效。

6. 用spark-submit做测试 #

如果PySpark Shell还是有问题，写个简单的测试脚本（比如test_mongo.py）：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("TestMongoConn") \
    .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.test_col") \
    .getOrCreate()

df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
df.show()

然后用命令运行：

spark-submit --jars /绝对路径/到你的/mongo-hadoop-spark.jar test_mongo.py

这样能看到更详细的错误日志，方便定位问题。

如果还是搞不定，把PySpark里弹出的错误信息贴出来，能更精准帮你排查～

内容的提问来源于stack exchange，提问作者Brian Piercy