PySpark在Docker容器中连接SQL Server失败求助

以下是针对你遇到的ClassNotFoundException问题的具体解决方案：

1. 确认JDBC Jar的有效性与完整性 #

• 进入容器，执行命令验证Jar文件存在且包含目标驱动类：

  # 检查Jar是否存在
  ls -l /tmp/mssql-jdbc.jar
  # 检查Jar内是否包含SQLServerDriver类
  jar tf /tmp/mssql-jdbc.jar | grep com/microsoft/sqlserver/jdbc/SQLServerDriver.class
  

  如果没有输出驱动类路径，说明Jar文件损坏或下载错误，重新下载对应JRE11版本的SQL Server JDBC驱动包。

2. 修正SparkSession的配置方式 #

在Jupyter Notebook环境中，直接通过SparkConf设置spark.jars可能因SparkSession提前初始化而不生效，建议直接在SparkSession.builder中配置：

from pyspark.sql import SparkSession

# 先停止可能已存在的SparkContext（避免复用旧配置）
from pyspark.context import SparkContext
if 'sc' in locals():
    sc.stop()

# 直接在builder中指定JDBC Jar路径
spark = SparkSession.builder \
    .appName("PortfolioPerformance") \
    .config("spark.jars", "/tmp/mssql-jdbc.jar") \
    .getOrCreate()

# 验证配置是否生效
print("已加载的Jars：", spark.conf.get("spark.jars"))

database_url = "jdbc:sqlserver://my_server;databaseName=Fusion"
properties = {
    "user": "my_user",
    "password": "my_password!",
    "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
}

df = spark.read.jdbc(
    url=database_url,
    table='SELECT * FROM my_query',
    properties=properties
)

3. 全局加载JDBC Jar（可选） #

如果上述方法仍不生效，可以将Jar复制到Spark的默认依赖目录，确保所有Spark会话都能加载：

# 进入容器后执行
cp /tmp/mssql-jdbc.jar $SPARK_HOME/jars/

然后重启Jupyter或SparkContext。

4. 验证JRE版本匹配性 #

确保你下载的JDBC Jar版本与容器内的JRE版本一致（你的镜像用JRE11，所以必须使用jre11后缀的Jar包），版本不匹配会导致驱动类无法加载。

内容的提问来源于stack exchange，提问作者user172839