PySpark读取文本文件时Schema中非Nullable设置不生效的问题咨询

这是Spark数据源处理中很典型的行为差异问题，我来帮你拆解背后的原因和可行的解决办法：

为什么会出现这种差异？ #

核心原因在于Spark不同数据源的读取逻辑对Schema的处理优先级不同：

1. 文本（text）数据源的固有兼容逻辑
   Spark的text读取器是为通用纯文本场景设计的，它默认假设文本文件可能存在空行（哪怕你明确知道当前文件没有）。为了覆盖这种通用场景，它会强制将读取后的唯一字段标记为nullable=true，直接覆盖你自定义Schema中的nullable=False设置。毕竟文本读取器无法在读取前就提前验证所有行都非空，所以它优先保证兼容性，而非严格遵循自定义的nullable约束。

2. 内存数据源的严格校验逻辑
   当你用spark.createDataFrame从内存数据创建DataFrame时，Spark可以直接访问所有数据，它会校验数据是否符合Schema的nullable设置——因为你的内存数据里没有null值，所以nullable=False的约束能正常生效。

如何让Spark读取文本文件时遵循非Nullable设置？ #

这里有几个实用的方案，你可以根据业务场景选择：

方案1：读取后强制重置字段的nullable属性 #

读取文本文件后，通过cast方法显式指定字段的nullable约束：

from pyspark.sql import SparkSession, types as T

spark = SparkSession.builder.getOrCreate()
my_schema = T.StructType([T.StructField("word", T.StringType(), False)])

# 读取文本后重新设置字段约束
df = spark.read.text("some_file.txt").withColumn(
    "word", 
    df["value"].cast(T.StringType(), nullable=False)
).drop("value")

df.printSchema()

输出结果会符合预期：

root
 |-- word: string (nullable = false)

方案2：改用CSV数据源模拟文本读取 #

利用CSV数据源的灵活性，指定一个不存在的分隔符（比如\0空字符），这样CSV读取器会把整行作为单个字段，并且能严格遵循你的自定义Schema：

df = spark.read.schema(my_schema).option("sep", "\0").csv("some_file.txt")
df.printSchema()

这种方法不需要额外的字段转换，直接读取就能得到符合要求的Schema。

方案3：验证无null后重新构建DataFrame #

如果需要确保数据确实没有空行，可以先做校验，再用自定义Schema重新构建DataFrame：

# 先读取文本文件
temp_df = spark.read.text("some_file.txt").toDF("word")
# 验证不存在空行
assert temp_df.filter(temp_df.word.isNull()).count() == 0, "文件中存在空行！"
# 用自定义Schema重新构建DataFrame
df = spark.createDataFrame(temp_df.rdd, schema=my_schema)
df.printSchema()

这个方案额外增加了数据校验步骤，适合对数据质量要求较高的场景。

内容的提问来源于stack exchange，提问作者Ron Serruya