Spark/Scala使用date_format转时间戳为星期字符串时参数过多错误求助

• 核心为变量名与Spark内置函数名冲突：你将第一步处理得到的DataFrame命名为date_format，和需要调用的Spark SQL内置函数date_format重名，Scala作用域解析时会优先匹配当前上下文的DataFrame变量，而非同名函数。
• DataFrame的apply方法（即变量名(参数)语法调用的方法）仅支持传入1个列名字符串参数，你传入了2个参数，因此触发参数过多的报错。

以下两种方案任选其一即可：

1. 修改DataFrame变量名，避免和内置函数重名（更推荐，代码更简洁）

// 将原变量名date_format改为无冲突的名称，例如date_df
val date_df = df_filter.withColumn("date", to_date(col("pickup_datetime")))
val df_2 = date_df.withColumn("day_of_week", date_format(col("date"), "EEEE"))

2. 调用函数时显式指定内置函数的全路径，明确调用优先级

val date_format = df_filter.withColumn("date", to_date(col("pickup_datetime")))
// 显式指定调用functions下的date_format函数
val df_2 = date_format.withColumn("day_of_week", org.apache.spark.sql.functions.date_format(col("date"), "EEEE"))

• 日常开发中尽量避免将自定义变量命名为Spark内置函数名（如sum、count、date_format等），减少作用域冲突导致的异常。

内容的提问来源于stack exchange，提问作者vethraut