Delta表写入报错：全空ArrayType列含NullType的Spark DataFrame写入问题

问题原因 #

当Pandas DataFrame中的数组列（如colname）全为空列表时，Spark自动推断Schema会将其识别为ArrayType(NullType)，而Delta Lake不支持复杂类型（如Array）中嵌套NullType，因此写入时报错：

AnalysisException: Found nested NullType in column 'colname' which is of ArrayType. Delta doesn't support writing NullType in complex types.

解决方案 #

核心思路是明确指定数组列的元素类型为StringType，避免Spark自动推断出NullType。以下是两种可行方法：

方法1：创建Spark DataFrame时手动指定Schema #

直接定义符合Delta表要求的Schema，强制数组列的元素类型为字符串：

from pyspark.sql.types import StructType, StructField, StringType, ArrayType

# 定义与Delta表匹配的Schema
target_schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("colname", ArrayType(StringType()), nullable=True),
    StructField("colname1", ArrayType(StringType()), nullable=True)
])

# 使用指定Schema创建Spark DataFrame
spark_df = spark.createDataFrame(df, schema=target_schema)

# 写入Delta表
spark_df.write.mode("append").option("overwriteSchema", "true").saveAsTable("dbname.tbl_name")

方法2：修改现有Spark DataFrame的列类型 #

如果已经创建了Spark DataFrame，可通过cast方法将数组列转换为正确类型：

from pyspark.sql.functions import col
from pyspark.sql.types import ArrayType, StringType

# 将全空的数组列转换为Array(StringType)
spark_df = spark_df.withColumn("colname", col("colname").cast(ArrayType(StringType()))) \
                   .withColumn("colname1", col("colname1").cast(ArrayType(StringType())))

# 写入Delta表
spark_df.write.mode("append").option("overwriteSchema", "true").saveAsTable("dbname.tbl_name")

验证 #

执行前可通过spark_df.printSchema()检查Schema，确认colname和colname1的类型为array<string>而非array<null>，即可正常写入Delta表。

内容的提问来源于stack exchange，提问作者Shubham R