Azure Databricks中PySpark递归CTE编写求助（SQL代码无法运行）

问题根源 #

你的原SQL仅定义了递归CTE，但缺少实际查询语句；同时直接用加减符号处理日期在部分场景下存在语法兼容问题，这导致代码无法正常运行。另外需确保你的Databricks Runtime版本≥7.0（对应Spark 3.0+），因为Spark 3.0才正式支持递归CTE语法。

修正后的SQL写法 #

将日期运算替换为Spark标准日期函数，并补充查询语句，完整代码如下：

WITH RECURSIVE dates(dt) AS (
    -- 基准查询：生成起始日期
    SELECT date_sub(to_date('2023-03-05'), 181) AS dt
    UNION ALL
    -- 递归查询：逐天递增，直到目标日期
    SELECT date_add(dt, 1)
    FROM dates d
    WHERE d.dt < to_date('2023-03-05')
)
-- 必须添加查询语句输出结果
SELECT * FROM dates ORDER BY dt;

PySpark DataFrame API替代方案 #

如果更倾向于Python代码实现，可用循环递归方式生成日期序列：

from pyspark.sql.functions import date_add, date_sub, to_date

# 生成起始日期的基准DataFrame
base_df = spark.createDataFrame([(date_sub(to_date('2023-03-05'), 181),)], ["dt"])
result_df = base_df
current_df = base_df

# 递归生成后续日期
while True:
    next_df = current_df.select(date_add(current_df.dt, 1).alias("dt")) \
                       .filter(current_df.dt < to_date('2023-03-05'))
    if next_df.count() == 0:
        break
    result_df = result_df.union(next_df)
    current_df = next_df

# 按日期排序并展示结果
result_df.orderBy("dt").show()

关键注意事项 #

• 递归CTE必须包含基准部分和递归部分，且递归部分必须引用CTE自身。
• 必须明确终止条件（示例中的WHERE d.dt < to_date('2023-03-05')），避免无限递归触发深度超限错误。
• 优先使用Spark标准日期函数（date_sub/date_add）替代直接加减，提升代码兼容性。

内容的提问来源于stack exchange，提问作者Sai Kiran