Scala DataFrame通配符过滤失效问题及替代方案咨询

我之前也踩过这个坑！Spark里的===是精确字符串匹配，1.1.1.*会被当作一个完整的字符串去和dst_ip字段比对，自然查不到符合预期的结果。下面给你几个实用的替代实现方案：

方案1：使用like操作符（SQL风格通配） #

Spark支持SQL标准的like语法，用%代替你习惯的*作为通配符（%匹配任意长度的字符，_匹配单个字符）。代码示例：

import org.apache.spark.sql.functions.col

val filteredDf = df.filter(col("dst_ip").like("1.1.1.%"))
filteredDf.show()

这个方案适合简单的前缀/后缀/中间通配场景，语法直观，性能也不错。

方案2：使用rlike正则匹配 #

如果需要更复杂的匹配规则（比如IP段的精确范围校验），可以用正则表达式匹配：

val filteredDf = df.filter(col("dst_ip").rlike("^1\\.1\\.1\\..*"))
filteredDf.show()

这里要注意：正则里的.是匹配任意字符，所以需要用\\.转义成实际的点号；^表示字符串开头，.*表示任意后续字符，确保只匹配以1.1.1.开头的IP。

方案3：使用startsWith方法（前缀匹配专属） #

如果你只是想匹配以指定前缀开头的字符串，startsWith方法会更语义化，代码也更简洁：

val filteredDf = df.filter(col("dst_ip").startsWith("1.1.1."))
filteredDf.show()

这个方法底层其实也是转化为正则匹配，但代码可读性更高，适合明确的前缀过滤场景。

举个测试例子验证：假设你的DataFrame有如下数据：

用上面任意一种方案，都会返回前两行符合条件的数据。

内容的提问来源于stack exchange，提问作者user1342124