如何在Scala中手动创建包含Set类型列的Dataset

问题原因 #

Scala标准库的Set是泛型集合类型，必须显式指定其存储的元素类型，你在定义Files样例类时，ids字段只写了Set没有填写类型参数，不符合语法要求，所以触发编译错误。

修正方案 #

你代码里存入Set的元素都是Int类型，直接把ids字段的类型声明为Set[Int]即可，修正后的完整代码如下：

case class Files(Record: String, ids: Set[Int])
val files = Seq(
  Files("202110260931", Set(770010, 770880)),
  Files("202110260640", Set(770010, 770880)),
  Files("202110260715", Set(770010, 770880))
).toDS()
files.show()

如果后续需要存储其他类型的元素，对应替换方括号里的类型即可，比如存字符串就写Set[String]。

内容的提问来源于stack exchange，提问作者Luiz Viola