在Databricks中使用Scala批量执行系列存储过程的方案咨询

核心思路 #

1. 封装通用执行函数，减少重复代码
2. 复用数据库连接，降低资源开销
3. 按定义顺序遍历存储过程列表，同步执行
4. 加入异常处理，方便排查执行问题

完整代码示例 #

%scala
import java.sql.DriverManager
import java.sql.Connection

// 数据库连接配置
val username = "xxxxx"
val pass = "xxxxx"
val url = "jdbc:sqlserver://xxx.database.windows.net:1433;databaseName=xxx"

// 按执行顺序定义存储过程调用列表
val spList = List(
  "EXEC sp_truncate_table 'SalesLT.Temp3'",
  "EXEC sp_process_source_data 'SalesLT.Customer'",
  "EXEC sp_sync_target_table 'SalesLT.CustomerTarget'",
  // 继续添加剩余7个存储过程的调用语句...
)

// 封装单个存储过程执行逻辑
def executeStoredProc(conn: Connection, spQuery: String): Unit = {
  try {
    val stmt = conn.createStatement()
    println(s"启动执行: $spQuery")
    stmt.execute(spQuery)
    println(s"执行完成: $spQuery")
    stmt.close()
  } catch {
    case e: Exception => 
      println(s"执行失败: $spQuery，错误详情: ${e.getMessage}")
      // 可选：若需终止后续执行，取消下一行注释
      // throw e
  }
}

// 创建连接并批量顺序执行
val conn = DriverManager.getConnection(url, username, pass)
try {
  spList.foreach(sp => executeStoredProc(conn, sp))
} finally {
  // 确保连接最终关闭
  if (conn != null && !conn.isClosed()) {
    conn.close()
    println("数据库连接已关闭")
  }
}

关键说明 #

• 顺序保障：Scala对List的foreach遍历是同步执行的，会严格按照列表定义的顺序逐个执行存储过程
• 连接复用：全程仅创建一次数据库连接，避免频繁创建/销毁连接带来的性能损耗
• 异常控制：单个存储过程执行失败时会打印错误信息，默认不中断后续执行；若需要失败即停止，可取消代码中throw e的注释
• 扩展性：后续新增存储过程，直接在spList中添加对应的调用语句即可

内容的提问来源于stack exchange，提问作者shaan