PySpark会话初始化报错：Kerberos认证异常，找不到LoginModule

错误根源 #

触发Py4JJavaError的核心原因是Spark/Hadoop的Kerberos认证配置试图加载IBM专属的认证模块，但当前运行环境缺少该模块依赖，或Kerberos相关配置存在错误。同时你的代码中Spark会话初始化方式冗余，也可能引发配置冲突。

修复方案 #

1. 简化Spark会话初始化 #

放弃旧版的SparkContext+SQLContext组合，直接用SparkSession.builder创建会话，避免不必要的配置问题：

from pyspark.sql import SparkSession

appName = "PySpark SQL Server Example - via ODBC"
master = "local"

spark = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .getOrCreate()

2. 禁用Kerberos认证（本地环境通用） #

如果你的本地Spark不需要Kerberos认证，在会话配置中强制使用简单认证模式，绕开模块缺失问题：

spark = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .config("spark.hadoop.security.authentication", "simple") \
    .getOrCreate()

3. 优化数据读取流程（可选） #

既然目标是获取MSSQL数据转为Spark DataFrame，可直接用Spark JDBC连接跳过pandas中间环节，提升效率：

server = 'exampleserver.windows.net'
database = 'exampledatabase'
username = 'exampleusername'
password = 'examplepassword'
driver = 'com.microsoft.sqlserver.jdbc.SQLServerDriver'

url = f"jdbc:sqlserver://{server}:1433;databaseName={database};user={username};password={password}"

sparkDF = spark.read \
    .format("jdbc") \
    .option("url", url) \
    .option("driver", driver) \
    .option("dbtable", "(SELECT TOP 3 ID, CountryId FROM dbo.Address) AS temp") \
    .load()

sparkDF.show()

4. 解决IBM模块依赖（需Kerberos场景） #

如果必须使用Kerberos且依赖IBM认证模块，需完成以下操作：

• 安装IBM JDK，或把ibmjceprovider.jar添加到Spark的classpath目录
• 检查krb5.conf和jaas.conf配置文件，确保LoginModule的路径配置正确

完整修复代码示例 #

from pyspark.sql import SparkSession
import pyodbc
import pandas as pd

appName = "PySpark SQL Server Example - via ODBC"
master = "local"

# 构建SparkSession并禁用Kerberos认证
spark = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .config("spark.hadoop.security.authentication", "simple") \
    .getOrCreate()

server = 'exampleserver.windows.net'
database = 'exampledatabase'
username = 'exampleusername'
password = 'examplepassword'   
driver= '{ODBC Driver 17 for SQL Server}'

# pyodbc连接取数并转为Spark DataFrame
conn = pyodbc.connect(f'DRIVER={driver};SERVER=tcp:{server};PORT=1433;DATABASE={database};UID={username};PWD={password}')
query = "SELECT TOP 3 ID, CountryId FROM dbo.Address"
pdf = pd.read_sql(query, conn)
sparkDF = spark.createDataFrame(pdf)
sparkDF.show()

内容的提问来源于stack exchange，提问作者tamarajqawasmeh