基于列值将Spark DataFrame写入多个JDBC表的实现方法（Scala 2.4）

你完全可以用DataFrame API实现需求，不需要转成RDD手动处理JDBC对象。下面提供两种实现方式，分别对应不同的场景：

方法一：基于DataFrame API的循环过滤写入 #

这是最直观的方式，适合国家数量较少的场景：

1. 定义JDBC连接参数：

import org.apache.spark.sql.SaveMode

val jdbcUrl = "jdbc:postgresql://your-host:5432/your-database"
val connProps = new java.util.Properties()
connProps.setProperty("user", "your-username")
connProps.setProperty("password", "your-password")
connProps.setProperty("driver", "org.postgresql.Driver")

2. 获取所有唯一的国家值：

val uniqueCountries = df.select("country").distinct().as[String].collect()

3. 遍历每个国家，过滤数据并写入对应表：

uniqueCountries.foreach { country =>
  val targetTable = s"app_$country"
  df.filter(df("country") === country)
    .write
    .mode(SaveMode.Append) // 根据需求选择Append/Overwrite/Ignore等模式
    .jdbc(jdbcUrl, targetTable, connProps)
}

注意：这种方式会为每个国家生成独立的Spark Job，如果国家数量过多（比如上百个），会带来较大调度开销，且频繁创建JDBC连接可能影响性能。

方法二：分区后批量写入（性能优化版） #

如果国家数量较多，建议先按country列重分区，再通过foreachPartition在分区内批量写入，减少JDBC连接数和Job数量：

1. 按country列重分区（确保同一国家的数据在同一分区）：

val partitionedDf = df.repartition(col("country"))

2. 遍历每个分区，批量写入对应表：

import java.sql.{DriverManager, PreparedStatement}

partitionedDf.foreachPartition { iter =>
  if (iter.nonEmpty) {
    // 获取当前分区对应的国家（分区内所有行的country一致）
    val firstRow = iter.next()
    val country = firstRow.getAs[String]("country")
    val targetTable = s"app_$country"
    
    // 重新组装迭代器，把取出的第一行放回
    val fullIter = Iterator(firstRow) ++ iter
    
    // 创建JDBC连接并执行批量插入
    val conn = DriverManager.getConnection(jdbcUrl, "your-username", "your-password")
    val insertStmt = conn.prepareStatement(s"INSERT INTO $targetTable (country, val1) VALUES (?, ?)")
    
    try {
      fullIter.foreach { row =>
        insertStmt.setString(1, row.getAs[String]("country"))
        insertStmt.setDouble(2, row.getAs[Double]("val1"))
        insertStmt.addBatch()
      }
      insertStmt.executeBatch()
    } finally {
      // 确保资源释放
      insertStmt.close()
      conn.close()
    }
  }
}

优势：每个分区仅创建一次JDBC连接，整个操作是单个Spark Job，性能更优，适合大规模数据和多国家场景。

内容的提问来源于stack exchange，提问作者IllSc