Scala中编写带可变参数的Spark DataFrame分组函数出现groupBy方法适配错误
问题根因
出现重载匹配失败,本质是Scala对可变参数(语法为T*)的传参规则导致的:
- Scala调用可变参数方法时,默认只会把你零散写出来的同类型实参自动收集成参数列表;如果直接传入一个本身就是Seq/Array类型的集合对象,编译器不会自动把集合里的元素拆解开适配可变参数,必须手动加专门的展开标记才行。
- 你写的
showGroupByDesc函数里的入参cols: Column*,运行时本质是一个Seq[Column]类型的集合对象,不是零散的、独立的Column类型实参。直接把这个集合传给groupBy时,编译器只会把它当成单个普通参数去匹配方法签名:- 那个接收
Column*的groupBy重载,本来是要接多个零散的Column类型值,你现在传进来的是一个Seq集合,类型对不上; - 那个接收String类型可变参数的groupBy重载,要求第一个必填参数是String类型,你传的Seq[Column]类型同样对不上;
最后编译器遍历完所有候选方法,发现没有任何一个重载能接下这个Seq[Column]类型的单个实参,就抛出了报错,同时把两个满足「最少参数数量要求」的重载方法列成了备选,也就是你看到的报错内容。
- 那个接收
解决方案
传参的时候加上Scala专门的可变参数展开标记:_*,明确告诉编译器「把这个集合里的所有元素,挨个拆成独立的实参传给可变参数方法」就可以了,修改后的代码:
def showGroupByDesc(df: DataFrame, cols: Column*): Unit = { df.groupBy(cols: _*).count().sort($"count".desc).show() }
需要注意的是,平时零散传入多个Column的写法,比如df.groupBy($"col1", $"col2"),是不需要加这个展开标记的——因为这些是独立的零散实参,编译器会自动将其收集到可变参数列表中;只有当你手里已经是一个封装好的Seq/Array集合时,才需要用:_*完成展开适配。
这个规则对字符串列名的传参场景同样生效,如果你的函数入参是列名字符串,调用字符串版本的groupBy时也需要加同样的展开标记:
// 按列名字符串实现的版本 def showGroupByDescByName(df: DataFrame, colNames: String*): Unit = { df.groupBy(colNames: _*).count().sort($"count".desc).show() }
内容的提问来源于stack exchange,提问作者Prabhjot Singh Rai
相关产品推荐
相关产品推荐

