在Databricks Notebook中使用PySpark DateType创建DataFrame时出现错误，寻求解决方案

你遇到的错误核心原因是：Spark无法自动将字符串类型的值隐式转换为DateType类型。当你定义的Schema里字段是DateType，但传入的数据却是字符串时，类型不匹配就会触发错误。

下面提供两种实用的解决思路：

方法一：提前将字符串转为Python日期对象 #

在构造数据列表时，把字符串转换成Python标准库的datetime.date对象，这样Spark就能直接识别为DateType：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, DateType
import datetime

# 初始化SparkSession（Notebook中已存在的话可省略）
spark = SparkSession.builder.appName("DateConversion").getOrCreate()

# 将字符串转为date对象
data = [(datetime.date(2021, 1, 1), datetime.date(2021, 1, 2))]
schema1 = StructType([
    StructField("date1", DateType(), True),
    StructField("date2", DateType(), True)
])

spark.createDataFrame(data, schema1).show()

方法二：先以字符串加载，再用函数转换类型 #

这种方式更适合处理批量数据或日期字符串格式固定的场景，先以字符串类型加载数据，再通过to_date函数将字段转换为日期类型：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType
from pyspark.sql.functions import to_date

spark = SparkSession.builder.appName("DateConversion").getOrCreate()

data = [('2021-01-01','2021-01-02')]
# 先定义字符串类型的Schema
schema1 = StructType([
    StructField("date1", StringType(), True),
    StructField("date2", StringType(), True)
])

# 加载数据为DataFrame
df = spark.createDataFrame(data, schema1)
# 转换字段为日期类型（如果是默认yyyy-MM-dd格式，第二个参数可省略）
df = df.withColumn("date1", to_date(df.date1, "yyyy-MM-dd")) \
       .withColumn("date2", to_date(df.date2, "yyyy-MM-dd"))

df.show()

补充说明 #

如果你的日期字符串格式是Spark默认的yyyy-MM-dd，调用to_date时可以不用指定格式参数，但明确指定格式会让代码更健壮，避免因环境默认配置变化导致的解析失败。

内容的提问来源于stack exchange，提问作者mytabi