Scala编写Spark自定义UDF报错：illegal start of expression问题求助

核心错误点 #

• if表达式缺少else分支：Scala中if是表达式而非语句，必须返回明确值。你的代码仅处理了name.startsWith("A")为真的情况，未定义不满足条件时的返回值，既触发语法报错，又导致函数声明的String返回类型与实际可能返回的Unit不匹配。
• 函数定义语法错误：def nameFilter= (name:String):String =>{...} 混淆了方法与匿名函数的定义格式，属于非法语法。
• 冗余代码与未定义变量：代码中存在多余的})，且ageFilter未定义就直接调用，会引发额外错误。

修正后的代码 #

方式一：定义普通方法再转为UDF #

// 正确定义方法，补充else分支返回null或空字符串
def nameFilter(name: String): String = {
  if (name.startsWith("A")) name else null
}

// 注册UDF
val nameFilterUdf = udf(nameFilter)

// 调用UDF处理字段
concatDf.select(nameFilterUdf(col("Region"))).show()

方式二：直接定义匿名函数作为UDF #

val nameFilterUdf = udf((name: String) => {
  if (name.startsWith("A")) name else null
})

concatDf.select(nameFilterUdf(col("Region"))).show()

额外优化建议 #

如果你的需求是筛选符合条件的行而非仅提取字段值，更推荐使用Spark内置的filter方法，无需自定义UDF，性能更优：

concatDf.filter(col("Region").startsWith("A")).show()

内容的提问来源于stack exchange，提问作者Amal Swain