Spark两张表大规模模糊匹配的可行优化方案咨询

一、仅使用Spark SQL的优化方案 #

针对12000条模糊匹配条件的场景，现有Join-Like SQL性能差的核心原因是无控制的笛卡尔积式匹配+不必要的Shuffle开销，以下是可行优化：

• 强制广播小表：tb2仅12000条数据，属于典型小表，通过SQL提示让Spark将tb2广播到所有Executor，避免大表tb1的Shuffle。修改后的SQL：

  SELECT /*+ BROADCAST(tb2) */ a,b,c FROM tb1 JOIN tb2 ON tb1.a LIKE tb2.a
  

  注：Spark 2.3.2已支持BROADCAST提示，3.2.2会自动识别小表，但显式提示更可靠。
• 提前过滤tb1数据集：如果tb1存在可前置筛选的条件（如时间范围、状态标记等），先缩小tb1的数据量再执行匹配，减少后续计算压力：

  SELECT a,b,c 
  FROM (SELECT * FROM tb1 WHERE create_time >= '2024-01-01') t1
  JOIN tb2 ON t1.a LIKE tb2.a
  

• 调整Spark SQL参数：
  • 调优spark.sql.shuffle.partitions（默认200）：若tb1数据量较大，适当增加分片数避免单分片过载；
  • Spark 3.2.2开启动态分区修剪：设置spark.sql.optimizer.dynamicPartitionPruning.enabled=true，进一步优化关联逻辑；
• 简化匹配规则（若适用）：如果tb2中的%模式是固定前缀/后缀匹配，可修改为tb1.a LIKE CONCAT(tb2.a, '%')或tb1.a LIKE CONCAT('%', tb2.a)，Spark能针对这类模式做更高效的过滤优化。

二、允许编写Spark代码的优化方案 #

你设想的收集条件到Driver编译为Pattern并广播的方案确实性能更优，核心原因及具体实现如下：

为什么该方案比Join-Like更高效？ #

1. 彻底避免Shuffle开销：Join-Like本质是先做笛卡尔积关联再过滤，会产生大量中间数据并触发跨节点Shuffle；而广播Pattern后仅需扫描tb1一次，每个Executor处理本地分片，无跨节点数据传输。
2. 预编译正则提升匹配效率：Pattern是预编译的正则表达式，比Spark SQL中逐次解析LIKE字符串的匹配速度更快，在12000条模式的场景下，预编译的累积性能收益非常明显。
3. 大幅减少中间数据量：Join会生成tb1与tb2的所有组合后过滤，而广播匹配是直接在tb1每条数据上判断是否匹配任意模式，中间数据量远低于Join场景。

具体实现（兼容Spark 2.3.2和3.2.2） #

以Scala为例：

import java.util.regex.Pattern
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder().getOrCreate()

// 1. 读取匹配条件表，收集到Driver后编译为Pattern并去重
val patternList = spark.table("tb2")
  .select("a")
  .as[String]
  .collect()
  .distinct
  .map(Pattern.compile(_))

// 2. 广播Pattern列表到所有Executor
val broadcastPatterns = spark.sparkContext.broadcast(patternList)

// 3. 扫描tb1并执行匹配过滤
val resultDF = spark.table("tb1")
  .filter { row =>
    val targetStr = row.getAs[String]("a")
    broadcastPatterns.value.exists(pattern => pattern.matcher(targetStr).find())
  }
  .select("a", "b", "c")

// 输出结果到表
resultDF.write.saveAsTable("result_table")

额外优化点 #

• 合并相似Pattern：如果多个模式存在共同特征（如相同前缀），可合并为更简洁的正则表达式，减少匹配次数；
• 调优Executor资源：增大spark.executor.memory和spark.executor.cores，提升单节点的匹配处理能力。

内容的提问来源于stack exchange，提问作者Smokeriu