PySpark写入Delta格式时含Null值的end_date列丢失问题求助

以下是几个可行的解决方案，按优先级尝试：

1. 禁用Spark优化器的Null列丢弃功能 #

Spark默认启用spark.sql.optimizer.discardNullColumns配置，会自动丢弃全为Null的列。写入前临时关闭该配置：

# 禁用全Null列自动丢弃
spark.conf.set("spark.sql.optimizer.discardNullColumns", "false")

# 执行写入操作
sat_prospect_credentials.write.format("delta").mode("append").save(f"{TABLE_MAP[table]}")

2. 显式指定Delta写入时保留列并合并Schema #

结合delta.write.retainColumnNames和mergeSchema选项，强制保留所有列并合并Schema：

sat_prospect_credentials.write \
    .format("delta") \
    .mode("append") \
    .option("delta.write.retainColumnNames", "true") \
    .option("mergeSchema", "true") \
    .save(f"{TABLE_MAP[table]}")

3. 先创建包含目标列的空Delta表 #

如果目标路径还没有Delta表，先手动创建包含end_date列的空表，再写入数据：

from pyspark.sql.types import StructType, StructField, DateType  # 根据实际列类型调整

# 定义完整Schema，确保包含end_date
target_schema = StructType([
    # 替换为你的DataFrame实际列定义
    StructField("id", StringType(), nullable=False),
    StructField("end_date", DateType(), nullable=True)
])

# 创建空Delta表（存在则忽略）
spark.createDataFrame([], schema=target_schema) \
    .write \
    .format("delta") \
    .mode("ignore") \
    .save(f"{TABLE_MAP[table]}")

# 执行数据写入
sat_prospect_credentials.write.format("delta").mode("append").save(f"{TABLE_MAP[table]}")

4. 手动为现有Delta表添加缺失列 #

如果目标Delta表已存在且缺少end_date列，先通过SQL添加列再写入：

# 根据实际列类型调整，比如DATE、TIMESTAMP等
spark.sql(f"ALTER TABLE delta.`{TABLE_MAP[table]}` ADD COLUMN end_date DATE")

# 执行写入
sat_prospect_credentials.write.format("delta").mode("append").save(f"{TABLE_MAP[table]}")

前置验证步骤 #

尝试方案前，先确认DataFrame确实包含end_date列：

sat_prospect_credentials.printSchema()

输出中应能看到end_date的定义，确保操作基础正确。

内容的提问来源于stack exchange，提问作者Jaco