PySpark连接MS SQL DB报错：No suitable driver问题排查求助

你碰到的这个No suitable driver报错，核心原因很直接：PySpark找不到连接MS SQL Server需要的JDBC驱动包。Spark本身并没有内置微软SQL Server的JDBC驱动，所以必须手动把对应的驱动依赖添加到Spark的运行环境里。

具体原因拆解 #

当你调用df.load()时，Spark会尝试通过JDBC协议连接SQL Server，但此时JVM的classpath里并没有MS SQL的驱动类，导致DriverManager找不到合适的驱动来建立连接，最终抛出这个异常。

解决步骤 #

1. 先获取MS SQL JDBC驱动包

你需要下载对应版本的驱动包（注意要匹配你的Java版本和SQL Server版本，比如Java 8就选带jre8的版本，Java 11选jre11的），常见的驱动包名称类似mssql-jdbc-12.4.1.jre8.jar。

2. 把驱动包添加到Spark依赖中

有两种常用方式：

• 方式一：启动时指定驱动包（推荐，灵活不污染全局配置）
  如果你是直接启动pyspark交互式环境，用--jars参数指定驱动包路径：

  pyspark --jars C:\path\to\mssql-jdbc-12.4.1.jre8.jar
  

  如果你是用spark-submit运行脚本，同样添加--jars参数：

  spark-submit --jars C:\path\to\mssql-jdbc-12.4.1.jre8.jar your_spark_script.py
  

• 方式二：复制驱动包到Spark默认jars目录
  把下载好的驱动包直接复制到Spark安装目录的jars文件夹下（比如你的路径是C:\spark\spark\jars），这样每次启动Spark都会自动加载这个驱动，不需要每次启动都加参数。

3. 修正代码里的小问题

另外，你的dbtable参数里的子查询需要加一个别名，否则SQL Server可能会报语法错误，修改如下：

df = spark.read \
    .format('jdbc') \
    .option('url', 'jdbc:sqlserver://local:1433') \
    .option('user', 'sa') \
    .option('password', '12345') \
    .option('dbtable', '(select COL1, COL2 from tbl1 WHERE COL1 = 2) as sub_query') \
    .load()

按照上面的步骤操作后，应该就能成功连接MS SQL Server并加载数据了。

内容的提问来源于stack exchange，提问作者Beso