PySpark如何将指定参数作为字符串列添加至DataFrame中

你当前写法中lit('{date}')仅会生成固定字符串{date}，不会自动解析为你提前定义的date变量值，这是PySpark和SAS宏变量自动解析机制的核心差异。

最简解决方法 #

直接将变量转为字符串传入lit()函数即可，代码如下：

date = 202105
# 方法1：直接转字符串传入
df = df.withColumn("DATE", lit(str(date)))

# 方法2：如果需要做字符串格式化（比如转换为2021-05格式），用Python f-string插值
df = df.withColumn("DATE", lit(f"{str(date)[:4]}-{str(date)[4:]}"))

类SAS宏变量的全局参数用法 #

如果你需要类似SAS%let定义全局宏变量、多位置复用的效果，可以用Spark配置项存储全局参数：

• 注册全局参数

spark.conf.set("custom.date_param", "202105")

• 任意位置调用参数

current_date = spark.conf.get("custom.date_param")
df = df.withColumn("DATE", lit(current_date))

Spark SQL传参写法 #

如果你习惯用Spark SQL写逻辑，传参写法和SAS Proc SQL中引用宏变量逻辑类似，用f-string插值即可：

date_val = "202105"
df = spark.sql(f"""
    SELECT *, '{date_val}' AS DATE 
    FROM your_original_table_name
""")

内容的提问来源于stack exchange，提问作者Niels