Databricks PySpark中Delta表字段兼容Null与Struct类型的问题求助

问题根源 #

Spark自动推断Schema时，会把JSON中Field1: null的情况识别为StringType（而非StructType的null），而Delta表中该列定义为StructType，导致合并Schema时因类型冲突报错Failed to merge fields 'Field1' and 'Field1'。

解决方案 #

1. 读取JSON时手动指定Schema（推荐）

不要依赖Spark自动推断Schema，提前定义包含StructType的Schema，确保Field1的类型统一，JSON中的null会被正确解析为Struct类型的null。

示例代码：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 定义目标Schema
target_schema = StructType([
    StructField("Field1", StructType([
        StructField("c1", StringType(), nullable=True),
        StructField("c2", StringType(), nullable=True),
        StructField("c3", IntegerType(), nullable=True)
    ]), nullable=True),
    StructField("Field2", StringType(), nullable=True)
])

# 读取JSON时指定Schema
df = spark.read.schema(target_schema).json("/path/to/your/json/files")

# 写入Delta表
df.write.format("delta").mode("append").option("mergeSchema", "true").save("/path/to/delta/table")

2. 修复已读取的类型不匹配数据

如果已经读取了数据且Field1被推断为StringType，先将其转换为StructType，并把字符串"null"转为真正的null值：

from pyspark.sql.functions import col, lit, when
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 定义StructType
field1_struct = StructType([
    StructField("c1", StringType(), nullable=True),
    StructField("c2", StringType(), nullable=True),
    StructField("c3", IntegerType(), nullable=True)
])

# 处理Field1列：将字符串"null"转为null，其余解析为Struct
df_fixed = df.withColumn(
    "Field1",
    when(col("Field1") == "null", lit(None))
    .otherwise(col("Field1").cast(field1_struct))
)

# 写入Delta表
df_fixed.write.format("delta").mode("append").option("mergeSchema", "true").save("/path/to/delta/table")

关键说明 #

• Delta的mergeSchema仅支持兼容类型变更（如Int转Long）或新增列，同列的类型冲突（String vs Struct）无法通过该参数解决，必须先统一数据类型。
• 手动指定Schema是最稳妥的方式，能从源头避免类型推断错误。

内容的提问来源于stack exchange，提问作者BlueVelvet