Spark读取Parquet自动推导schema写入Postgres提示无适配驱动如何解决

架构老林

2026-10-4

问题原因

你遇到的No suitable driver报错有两个核心原因：

Spark运行环境没有内置PostgreSQL的JDBC连接驱动，无法识别PostgreSQL的JDBC连接请求
你的JDBC连接URL格式不符合规范，且端口配置有误

分步修改方案

1. 修改Spark初始化配置，自动加载JDBC驱动

无需手动下载驱动包，直接在SparkSession创建时添加依赖配置即可，Spark启动时会自动拉取对应驱动：

import findspark
findspark.init()

from pyspark.sql import SparkSession

appName = "load_parquet"
master = "local"

spark = SparkSession.builder \
        .master(master) \
        .appName(appName)
        # 新增配置：自动加载PostgreSQL JDBC驱动
        .config("spark.jars.packages", "org.postgresql:postgresql:42.6.0") \
        .getOrCreate()

2. 读取Parquet的逻辑无需修改

你原有读取Parquet、校验Schema的代码完全正确，Spark已经自动读取了Parquet自带的Schema，后续写库时会自动映射为PostgreSQL的表结构，无需提前建表。

customers_sdf = spark.read.parquet('/home/jovyan/filesystem/customers.parquet')
customers_sdf.printSchema()

3. 修改写入PostgreSQL的代码

修正JDBC连接地址，补全驱动参数，指定写入模式：

customers_sdf.write \
    # 写入模式：append是追加数据，首次运行表不存在会自动建表；需要覆盖旧数据可以换成overwrite
    .mode("append") \
    .jdbc(
        # 容器同网下用容器名+PostgreSQL内部端口5432，不要用宿主机映射的5434
        url="jdbc:postgresql://postgres-dest:5432/destdb", 
        table="public.customers", 
        properties={
            "user": "destdb1", 
            "password": "destdb1",
            # 补全驱动类配置
            "driver": "org.postgresql.Driver"
        }
    )