Spark中使用Dataset API进行字符串过滤的问题求助

嘿，我一眼就揪出问题根源了：你写的_.colToFilter.toString根本不是在取Dataset里字段的实际值，而是把Spark的Column对象本身转成了字符串（比如输出就是colToFilter这个字段名的文本）。

举个直白的例子：

• 当你用_.colToFilter.toString.contains("0")时，你其实是在判断字段名的字符串里有没有"0"，而不是字段值。如果你的字段名刚好带"0"，那这个过滤会碰巧生效，但这完全不是你想要的逻辑！
• 而startsWith("0")是在判断字段名是否以"0"开头，显然你的字段名不是，所以自然返回空Dataset。

Spark的Column类本身就自带了startsWith和contains方法，直接调用这些方法就能针对字段值做过滤，根本不需要转成String：

类型安全的Lambda写法（适合Dataset强类型场景） #

ds.filter(_.colToFilter.startsWith("0")).show(false)

更灵活的Column表达式写法（适合复杂过滤逻辑） #

import org.apache.spark.sql.functions.col

ds.filter(col("colToFilter").startsWith("0")).show(false)

为啥你的contains看似能用？ #

大概率是你的字段名（比如colToFilter）里刚好包含"0"字符，所以_.colToFilter.toString.contains("0")其实是在匹配字段名，碰巧命中了一些数据，但这纯粹是巧合，逻辑完全错误哦。

你可以跑个小测试，看看两种toString的区别：

// 这才是获取字段值的字符串
ds.map(row => row.colToFilter.toString).show(false)
// 这是把Column对象转成字符串，输出类似 `[colToFilter: string]`
println(ds.select(col("colToFilter")).toString())

内容的提问来源于stack exchange，提问作者horatio1701d