PySpark Submit任务报错：找不到合适的PostgreSQL JDBC驱动

问题描述 #

执行以下spark-submit命令提交PySpark任务时，终端抛出java.sql.SQLException: No suitable driver错误：

spark-submit --jars /path-to-this/postgresql-42.7.1.jar /path-to-this/large-scale-data-processing/src/etl/load.py

涉及代码包含负责数据加载的DataLoader类（含建表、Parquet数据加载至PostgreSQL逻辑），以及创建SparkSession的SparkHandler类。

已完成排查 #

• 确认Java 11、PostgreSQL 16.1与postgresql-42.7.1驱动版本匹配
• 代码中JDBC URL、用户名、密码等配置无误
• 排查防火墙及PostgreSQL配置文件，未发现阻塞问题

解决步骤 #

1. 验证驱动Jar包路径 #

先通过ls /path-to-this/postgresql-42.7.1.jar确认驱动文件存在且路径无拼写错误。若路径包含空格或特殊字符，需用双引号包裹：

spark-submit --jars "/path with spaces/postgresql-42.7.1.jar" /path-to-this/load.py

2. 显式指定驱动类配置 #

方式一：在SparkSession中配置

创建SparkSession时添加驱动类路径配置，确保Driver和Executor都能加载到驱动：

from pyspark.sql import SparkSession

class SparkHandler:
    def create_spark_session(self):
        jar_path = "/path-to-this/postgresql-42.7.1.jar"
        return SparkSession.builder \
            .appName("PostgresETL") \
            .config("spark.driver.extraClassPath", jar_path) \
            .config("spark.executor.extraClassPath", jar_path) \
            .getOrCreate()

方式二：在spark-submit命令中补充参数

同时添加--driver-class-path参数，强制指定驱动类路径：

spark-submit \
  --jars /path-to-this/postgresql-42.7.1.jar \
  --driver-class-path /path-to-this/postgresql-42.7.1.jar \
  /path-to-this/large-scale-data-processing/src/etl/load.py

3. 规范JDBC写入配置 #

在DataFrame写入PostgreSQL时，显式指定driver选项，避免Spark无法自动识别驱动：

class DataLoader:
    def load_to_postgres(self, dataframe):
        dataframe.write \
            .format("jdbc") \
            .option("url", "jdbc:postgresql://your-host:5432/your-db") \
            .option("dbtable", "target_table") \
            .option("user", "db-user") \
            .option("password", "db-password") \
            .option("driver", "org.postgresql.Driver") \
            .mode("overwrite") \
            .save()

4. 集群环境额外检查 #

如果是集群运行，需确保驱动Jar包能被所有Executor节点访问：

• 将Jar包上传到HDFS公共路径，命令中改为hdfs:///path/to/postgresql-42.7.1.jar
• 或者将Jar包放置到所有节点的相同本地路径下

内容的提问来源于stack exchange，提问作者Lucas