PySpark添加空列报错：Parquet不支持void数据类型，求解决方案

当你用F.lit(None)创建空列时，Spark无法自动推断该列的数据类型，会默认将其标记为void类型，而Parquet数据源不支持这种类型，因此抛出pyspark.sql.utils.AnalysisException: Parquet data source does not support void data type.错误。

解决核心是给空列指定一个具体的数据类型，以下是两种常用方案：

方案1：使用cast()转换类型 #

直接对lit(None)进行类型转换，示例如下：

import pyspark.sql.functions as F
from pyspark.sql.types import StringType, IntegerType, DateType

# 添加字符串类型空列
df1 = df1.withColumn("empty_column", F.lit(None).cast(StringType()))

# 添加整数类型空列
df1 = df1.withColumn("empty_column", F.lit(None).cast(IntegerType()))

# 添加日期类型空列
df1 = df1.withColumn("empty_column", F.lit(None).cast(DateType()))

根据后续业务需求选择对应类型即可，比如要存数值选数值类型，存文本选字符串类型。

方案2：使用typedLit()（Spark 3.0+支持） #

Spark 3.0及以上版本提供typedLit()，可直接指定类型创建空列，无需额外cast操作：

import pyspark.sql.functions as F
from pyspark.sql.types import DoubleType

df1 = df1.withColumn("empty_column", F.typedLit(None, DoubleType()))

注意事项 #

• 若你的Spark版本低于3.0，优先使用cast()方案；
• 选择的类型需和后续业务逻辑匹配，避免后续数据写入或处理时出现类型不兼容问题。

内容的提问来源于stack exchange，提问作者ar_mm18