Azure Databricks代码遇ParseException报错的解决及修正代码请求

问题根源 #

你直接将PySpark的Column对象（start_date）嵌入到SQL字符串中，导致f-string解析后SQL语句出现to_date('Column')这种非法语法——Column对象无法直接被转成合法的日期字符串，从而触发语法错误。

修正方案1：将日期转为Python字符串后嵌入SQL #

这种方法先把日期转换成Python原生的日期/字符串类型，再安全嵌入SQL：

from pyspark.sql.functions import to_date, lit
from datetime import datetime, timedelta

start_date_str = dbutils.widgets.get("startdate")
# 将start_date转为Python字符串
start_date = to_date(lit(start_date_str), 'yyyy-MM-dd').collect()[0][0]

# 用Python日期运算计算enddate，避免Spark collect操作
start_date_dt = datetime.strptime(start_date_str, '%Y-%m-%d')
enddate = start_date_dt + timedelta(days=365 * 10)

# 嵌入合法的日期字符串到SQL
spark.sql(f"""
select explode(sequence(to_date('{start_date}'), to_date('{enddate.strftime('%Y-%m-%d')}'), interval 1 day)) as calendarDate
""").createOrReplaceTempView('dates')

修正方案2：完全使用PySpark API生成日期序列（推荐） #

避免SQL字符串拼接，直接用PySpark内置函数生成序列，更安全且符合Spark的编程范式：

from pyspark.sql.functions import to_date, lit, date_add, sequence, explode

start_date_str = dbutils.widgets.get("startdate")
start_date = to_date(lit(start_date_str), 'yyyy-MM-dd')
end_date = date_add(start_date, 365 * 10)

# 直接通过PySpark API生成日期序列并创建临时视图
spark.range(1) \
    .select(explode(sequence(start_date, end_date, lit(1))).alias("calendarDate")) \
    .createOrReplaceTempView('dates')

内容的提问来源于stack exchange，提问作者Abinandhana G