PySpark读取本地Sequence File遇Kerberos错误求助

一、修复Kerberos认证错误 #

单机非集群环境下，Spark无需启用Kerberos认证，只需在初始化SparkSession时添加以下配置，强制使用简单认证模式：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("ReadSequenceFile") \
    .config("spark.hadoop.security.authentication", "simple") \
    .config("spark.hadoop.security.authorization", "false") \
    .getOrCreate()
sc = spark.sparkContext

上述配置会禁用Kerberos相关的认证逻辑，解决"无法获取Master Kerberos主体作为续期器"的错误。

二、正确读取Sequence File #

Sequence File是Hadoop键值对序列化格式，不能用wholeTextFiles读取（该方法用于读取纯文本文件），需使用sc.sequenceFile()方法，指定键值对应的类型。从你提供的文件首行可知，键和值的类型都是org.apache.hadoop.io.Text，对应PySpark中的str类型：

读取本地Sequence File #

# 本地文件路径示例，可直接写绝对路径或加file://前缀
seq_rdd = sc.sequenceFile("/path/to/local/sequence/file", str, str)

直接读取HDFS上的Sequence File #

若直接读取HDFS文件，确保路径格式正确（如hdfs://localhost:9000/path/to/sequence/file）：

seq_rdd = sc.sequenceFile("hdfs://localhost:9000/path/to/sequence/file", str, str)

三、转换为指定Schema的DataFrame并验证 #

你的数据Schema为单列columnA（STRING类型），可将RDD转换为DataFrame，提取目标字段（假设需提取值字段，若实际为键字段可替换为x[0]）：

from pyspark.sql import Row

# 提取值作为columnA列
df = seq_rdd.map(lambda x: Row(columnA=x[1])).toDF()

# 打印前5行验证格式
df.show(5)

补充说明 #

你之前使用wholeTextFiles的问题在于：该方法会把二进制的Sequence File当作纯文本读取，既无法解析序列化内容，还会触发HDFS客户端的Kerberos检查逻辑（即使读取本地文件），从而导致认证错误。改用sequenceFile方法才能正确解析Sequence File的键值对结构，配合禁用Kerberos的配置，即可在单机环境正常读取。

内容的提问来源于stack exchange，提问作者PipelineSurfer