Spark环境下PySpark连接PostgreSQL JDBC失败求助

问题分析 #

spark-shell能正常拉取数据，但PySpark脚本持续报错java.lang.ClassNotFoundException: org.postgresql.Driver，说明JDBC驱动在spark-shell的类路径中生效，但PySpark脚本的类路径配置存在问题。

排查前置步骤 #

1. 验证驱动文件存在：执行命令确认jar包路径正确

   ls /usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar
   

2. 检查文件权限：确保运行PySpark的用户拥有该jar包的读取权限

   ls -l /usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar
   

解决方案 #

方案一：完善SparkSession配置

在创建SparkSession时，同时指定驱动和执行器的类路径（本地模式下执行器与驱动进程共用，但配置后兼容性更强）：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("PostgresToSparkDataframe") \
    .config("spark.driver.extraClassPath", "/usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar") \
    .config("spark.executor.extraClassPath", "/usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar") \
    .getOrCreate()

# 后续连接代码保持不变
jdbcUrl = "jdbc:postgresql://XX.XX.XX.XX:5432/daname"
dbProperties = {
    "user": "username",
    "password": "userpsw",
    "driver": "org.postgresql.Driver"
}

df = spark.read.jdbc(url=jdbcUrl, table="schemaname.tablename", properties=dbProperties)
df.show()

方案二：将驱动放入Spark默认类路径

把JDBC驱动复制到Spark的jars目录（替换$SPARK_HOME为你的Spark安装路径）：

cp /usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar $SPARK_HOME/jars/

操作后无需在脚本中配置extraClassPath，Spark会自动加载该目录下的所有jar包，直接运行脚本即可。

方案三：运行脚本时通过参数指定驱动

使用spark-submit命令时，通过--jars参数直接传入驱动路径：

spark-submit --jars /usr/share/java/postgresql-jdbc/postgresql-42.7.2.jar your_script.py

此方式无需修改脚本中的配置，简化类路径管理。

补充说明 #

spark-shell能正常运行的原因通常是：启动时自动扫描了Spark默认jars目录、系统全局类路径，或者启动时已通过参数指定了驱动；而单独运行PySpark脚本时，默认不会继承这些配置，需手动指定驱动类路径。

内容的提问来源于stack exchange，提问作者geopark