Scala Spark UDF封装重载parse_emails方法报歧义引用错误

定义了两个重载的parse_emails方法，分别支持传名参数=> Option[String]和Option[Seq[String]]类型入参，实现代码如下：

def parse_emails(email: => Option[String]) : Seq[String] = {
  email match {
    case Some(e : String) if e.isEmpty() => null
    case Some(e : String) => Seq(e)
    case _ => null
  }
}

def parse_emails(email: Option[Seq[String]]) : Seq[String] = {
  email match {
    case Some(e : Seq[String]) if e.isEmpty() => null
    case Some(e : Seq[String]) => e
    case _ => null
  }
}

需要在Spark任务中调用上述方法，尝试封装为Spark UDF时编写代码如下：

def parse_emails_udf = udf(parse_emails _)

编译阶段抛出歧义引用错误：

error: ambiguous reference to overloaded definition,
both method parse_emails of type (email: Option[Seq[String]])Seq[String]
and  method parse_emails of type (email: => Option[String])Seq[String]
match expected type ?
def parse_emails_udf = udf(parse_emails _)

后续尝试通过显式指定入参类型创建对应UDF，代码为def parse_emails_udf = udf(parse_emails _ : Option[Seq[String]])，又抛出类型不匹配错误：

error: type mismatch;
 found   : (email: Option[Seq[String]])Seq[String] <and> (email: => Option[String])Seq[String]
 required: Option[Seq[String]]
def parse_emails_udf = udf(parse_emails _ : Option[Seq[String]])

待解答两个问题：

• 是否可以定义单个UDF同时适配上述两个重载方法的逻辑？
• 是否可以创建同名的两个UDF，分别指向其中一个重载方法？

单UDF适配两种入参逻辑的方案 #

无法直接基于重载方法生成同时兼容两种入参类型的UDF。Spark UDF在定义时就必须绑定确定的输入输出Schema，Spark SQL执行时会按照预定义的类型做参数校验，不支持同一个UDF入口同时接收两种完全不同的入参类型。
如果确实需要用单个UDF覆盖两种场景，可以放弃直接引用重载方法，在UDF内部自行做类型分支判断，参考实现如下：

import org.apache.spark.sql.functions.udf

val parse_emails_udf = udf((email: Any) => {
  email match {
    case null => null
    case Some(e: String) => if (e.isEmpty) null else Seq(e)
    case Some(e: Seq[String @unchecked]) => if (e.isEmpty) null else e
    // 额外兼容非Option包装的普通入参场景，按需保留
    case e: String => if (e.isEmpty) null else Seq(e)
    case e: Seq[String @unchecked] => if (e.isEmpty) null else e
    case _ => null
  }
})

分重载版本创建UDF的方案 #

Scala同作用域下不允许定义两个同名的val/def，因此无法创建同名的两个UDF，但可以通过正确的写法消除重载歧义，分别为两个重载方法生成不同名的UDF。
之前的类型标注写法错误：parse_emails _ : Option[Seq[String]]是将eta展开生成的函数整体声明为Option[Seq[String]]类型，自然会报类型不匹配。正确的做法是通过显式lambda声明入参类型，让编译器精准匹配对应的重载方法，参考实现如下：

// 对应入参为 => Option[String] 的重载版本
val parse_single_email_udf = udf((emailOpt: Option[String]) => parse_emails(emailOpt))
// 对应入参为 Option[Seq[String]] 的重载版本
val parse_email_seq_udf = udf((emailSeqOpt: Option[Seq[String]]) => parse_emails(emailSeqOpt))

内容的提问来源于stack exchange，提问作者Ignacio Alorre