如何在Spark（Scala）中提取SQL查询的表名？是否仅正则可行？

嘿，这个问题我之前在项目里也遇到过——正则确实是一种可行的方案，但绝对不是唯一的选择！Spark本身就提供了更可靠的方式来解析SQL并提取表名，毕竟正则面对复杂SQL（比如嵌套子查询、带schema的表、视图引用）很容易翻车。下面给你两种实用的方法：

Spark自带的Catalyst解析器可以把SQL语句转换成抽象语法树（AST），我们只需要遍历这个语法树，就能精准提取所有表名。这种方法能处理几乎所有复杂场景，比如带别名的表、跨schema的表、甚至嵌套子查询里的表。

给你一段Scala代码示例：

import org.apache.spark.sql.catalyst.parser.CatalystSqlParser
import org.apache.spark.sql.catalyst.plans.logical.LogicalPlan
import org.apache.spark.sql.catalyst.trees.TreeNode

def extractTableNames(sql: String): Set[String] = {
  // 解析SQL生成逻辑执行计划
  val plan: LogicalPlan = CatalystSqlParser.parsePlan(sql)
  
  // 递归遍历语法树，提取表名
  def traverse(node: TreeNode[_]): Set[String] = {
    node match {
      // 匹配TableScan节点，提取表名
      case tableScan: org.apache.spark.sql.catalyst.plans.logical.TableScan =>
        Set(tableScan.tableName)
      // 递归处理子节点
      case _ =>
        node.children.flatMap(traverse).toSet
    }
  }
  
  traverse(plan)
}

// 测试你的SQL语句
val targetSql = "select * from table_1 as a left join table_2 as b on a.id=b.id"
val tables = extractTableNames(targetSql)
println(tables) // 输出: Set(table_1, table_2)

如果你的表是带schema的（比如my_schema.table_3），tableScan.tableName会返回完整的my_schema.table_3，你可以根据需求用.拆分出单独的表名。

如果你的SQL都是非常简单的结构（没有子查询、嵌套、复杂别名），正则可以作为快速解决方案，但要注意它的局限性。比如针对你给出的SQL，我们可以写这样的正则：

import scala.util.matching.Regex

def extractTableNamesWithRegex(sql: String): List[String] = {
  // 匹配from和join后面的表名，忽略大小写
  val tableRegex: Regex = """from\s+(\w+)|join\s+(\w+)""".r("fromTable", "joinTable")
  // 提取所有匹配项，去重后返回
  tableRegex.findAllMatchIn(sql.toLowerCase)
    .flatMap(matchResult => List(matchResult.group("fromTable"), matchResult.group("joinTable")).filter(_ != null))
    .distinct
    .toList
}

// 测试
val targetSql = "select * from table_1 as a left join table_2 as b on a.id=b.id"
println(extractTableNamesWithRegex(targetSql)) // 输出: List(table_1, table_2)

但要注意，这个正则在面对select * from (select * from table_3) t join table_4这类带子查询的SQL时，会错误地把t当成表名，而且处理不了带schema的表名。所以正则只适合简单场景，复杂情况还是优先用Spark解析器。

• 若需要处理各种复杂SQL场景，优先用Spark内置的SQL解析器，它能准确识别表、视图、子查询中的表，不会出现正则的误判问题。
• 若只是简单SQL语句，正则可以作为快速方案，但一定要做好测试，覆盖可能的边界情况。

内容的提问来源于stack exchange，提问作者sri hari kali charan Tummala