Scala中如何使用通配符(*、?)过滤RDD？

当然可以！完全不需要依赖DataFrame或者Python，只用Scala的RDD API就能实现你要的通配符（*和?）过滤功能。核心思路是把通配符规则转换成正则表达式，然后用Scala原生的正则匹配来过滤RDD元素。

通配符与正则的映射关系 #

首先得明确通配符和正则表达式的对应逻辑：

• *：匹配任意长度的任意字符（包括0个），对应正则的 .*
• ?：匹配单个任意字符，对应正则的 .

比如你提到的*abc??，转换成包含匹配的正则就是 .*abc..；如果要求全字段匹配，就要加上首尾锚点变成 ^.*abc..$。

具体实现步骤 #

假设你的RDD元素是一个包含SomeField字段的自定义类，比如：

case class Record(SomeField: String)
val rdd: RDD[Record] = sc.parallelize(Seq(
  Record("testabc12"),
  Record("abc3"),
  Record("xyzabcxy"),
  Record("abc")
))

1. 转换通配符为正则模式 #

先把你的通配符表达式转换成正则，然后预编译成Pattern对象（避免重复编译提升性能）：

val wildcardExpr = "*abc??"
// 转换为全匹配正则（如果要包含匹配就去掉首尾的^和$）
val regexExpr = "^" + wildcardExpr.replace("*", ".*").replace("?", ".") + "$"
val regexPattern = scala.util.matching.Regex(regexExpr)

2. 过滤RDD #

用filter方法结合正则匹配来筛选符合条件的元素：

val filteredRDD = rdd.filter { record =>
  // 检查SomeField是否匹配正则
  regexPattern.findFirstIn(record.SomeField).isDefined
}

// 打印结果验证
filteredRDD.foreach(println)
// 输出：Record(testabc12)、Record(xyzabcxy)

更健壮的工具函数封装 #

如果需要多次使用通配符过滤，可以封装一个工具函数，同时处理正则特殊字符的转义（避免通配符里的.、+等被误解析）：

import java.util.regex.Pattern

def wildcardToRegex(wildcard: String, fullMatch: Boolean = true): String = {
  // 先转义所有正则特殊字符，再替换通配符
  val escaped = Pattern.quote(wildcard)
    .replace("*", ".*")
    .replace("?", ".")
  // 根据是否全匹配添加首尾锚点
  if (fullMatch) s"^$escaped$$" else escaped
}

// 使用示例
val pattern = scala.util.matching.Regex(wildcardToRegex("*abc??"))
val filteredRDD = rdd.filter(record => pattern.matches(record.SomeField))

关键说明 #

• 如果你的需求是包含匹配（只要SomeField里有符合通配符的子串即可），就去掉正则表达式里的^和$锚点；如果是全匹配（整个SomeField必须完全符合通配符规则），就保留锚点。
• 这种方式完全基于Scala原生API和RDD的filter操作，没有引入任何额外依赖，纯RDD环境下就能运行。

内容的提问来源于stack exchange，提问作者zhihao_li