Spark读取目录CSV文件时缺失列未自动添加补空的问题

我帮你搞定这个Spark读取CSV的问题！你遇到的情况是某个CSV（比如file4.csv）缺了指定列（表头为first），Spark默认加载时不会自动补全这个列并填充null，这是因为Spark默认会根据每个文件的内容独立推断Schema，导致生成的DataFrame结构不一致。下面给你两种实用的解决办法：

方法一：手动指定统一Schema（推荐） #

这种方法最稳妥，直接定义包含所有需要的列的Schema，让Spark严格按照这个Schema加载所有文件，缺失的列自动填充null。

首先导入必要的类，然后根据你的实际列类型定义Schema，再读取文件时指定这个Schema：

from pyspark.sql import SQLContext
from pyspark.sql.types import StructType, StructField, StringType, IntegerType  # 按需调整类型

# 定义包含所有列的完整Schema，这里假设你的列是first、second、third，类型按需修改
full_schema = StructType([
    StructField("first", StringType(), nullable=True),
    StructField("second", IntegerType(), nullable=True),
    StructField("third", StringType(), nullable=True)
])

sqlContext = SQLContext(sc)
# 读取目标目录下所有CSV，指定统一Schema
df = sqlContext.read.format("csv") \
    .option("header", "true") \
    .schema(full_schema) \
    .load("/your/target/directory")

注意：一定要确保Schema里的列名和CSV表头完全一致（包括大小写），否则会匹配失败。

方法二：自动合并补全列（适合不想手动写Schema的场景） #

如果你的列比较多，不想手动定义Schema，可以先逐个读取所有文件，再用Spark的unionByName方法合并，自动对齐列名并补全null（Spark 3.1及以上版本支持）。

代码示例：

from pyspark.sql import SQLContext
import glob

sqlContext = SQLContext(sc)
# 获取目标目录下所有CSV文件路径
file_paths = glob.glob("/your/target/directory/*.csv")

# 逐个读取CSV并存储为DataFrame列表
df_list = []
for path in file_paths:
    single_df = sqlContext.read.format("csv").option("header", "true").load(path)
    df_list.append(single_df)

# 合并所有DataFrame，自动补全缺失列
combined_df = df_list[0]
for df in df_list[1:]:
    # 用unionByName对齐列名，allowMissingColumns=True会自动给缺失列补null
    combined_df = combined_df.unionByName(df, allowMissingColumns=True)

如果你的Spark版本低于3.1，allowMissingColumns参数不存在，那需要手动给每个缺失的列添加null值后再合并，具体可以通过对比列名，用withColumn添加缺失列并赋值为lit(None)。

内容的提问来源于stack exchange，提问作者Fafi Tauma