Spark 3.1.2+Scala 2.12导入udf时IDE显示删除线问题

问题原因 #

Spark 3.x版本中，org.apache.spark.sql.functions下的旧版udf方法已被官方标记为废弃，Scala IDE的静态语法检查识别到了该方法上的@deprecated注解，因此在导入位置给udf标注了删除线。由于Spark为了兼容旧版本代码保留了该方法的完整实现，所以项目编译、运行都不会出现问题，仅属于IDE的语法提示，不是代码错误。

解决方案 #

• 方案一：切换为Spark 3.x推荐的UDF定义方式
  无需再导入org.apache.spark.sql.functions.udf，直接通过SparkSession的udf对象注册或定义UDF即可，示例如下：

  // 示例：定义处理字符串的UDF
  val strProcessUdf = (input: String) => input.trim.toUpperCase
  // 注册为SQL可用的UDF
  spark.udf.register("str_process", strProcessUdf)
  // 也可直接在DataFrame DSL中调用
  import org.apache.spark.sql.functions.col
  df.withColumn("processed_str", strProcessUdf(col("raw_str")))
  

• 方案二：直接忽略IDE提示
  如果不想改动现有历史代码，完全可以忽略该删除线提示，不会对项目的编译、执行逻辑产生任何影响。
• 方案三：关闭Scala IDE的废弃代码删除线提示（不推荐）
  若要隐藏所有废弃代码的删除线样式，可以打开Scala IDE的偏好设置，依次进入「Scala > Editor > Annotations」，找到「Deprecated members」选项，取消「Text as strikethrough」的勾选即可。

内容的提问来源于stack exchange，提问作者ChlamRises