Azure Databricks中如何并行执行多表加载任务

直接说结论 #

不需要硬改Spark全局调度模式（比如Fair），用更简单的方法就能实现多表并行，还能解决你设置Fair模式加新建池的报错问题。

具体怎么做 #

1. 用Spark并行集合处理（首推） #

把表列表转成Spark并行集合，让每个表的处理任务自动并行跑，不用改全局配置：

val tableList = List("A", "B", "C")
// 第二个参数设为表的数量，确保每个表对应一个并行任务
sc.parallelize(tableList, tableList.size).foreach { tableName =>
  // 这里写单表的抽取、交易处理、加载逻辑
  val sourceDf = spark.read.table(s"source_db.$tableName")
  // 执行交易操作（比如过滤、转换）
  val processedDf = sourceDf.filter("status = 'valid'")
  // 写入目标表
  processedDf.write.mode("overwrite").saveAsTable(s"target_db.$tableName")
}

这种方式依赖Spark默认的FIFO调度，只要集群有空闲资源，多个表的任务就会同时执行，完全满足需求。

2. 要是非得用Fair调度模式 #

如果一定要用Fair调度，得按Databricks的规则来，别乱建池：

• 手动新建池和Fair调度模式冲突，这就是你报错的原因。
• 正确配置步骤：
  1. 在集群的Spark配置里加：

     spark.scheduler.mode FAIR
     

  2. 写个fairscheduler.xml配置文件，上传到DBFS，内容大概是：

     <?xml version="1.0"?>
     <allocations>
       <queue name="table_load_queue">
         <weight>1</weight> <!-- 权重控制资源分配比例 -->
       </queue>
     </allocations>
     

  3. 再在Spark配置里指定这个文件的路径：

     spark.scheduler.allocation.file dbfs:/your/path/fairscheduler.xml
     

  4. 代码里给每个表任务指定队列：

     spark.sparkContext.setLocalProperty("spark.scheduler.pool", "table_load_queue")
     

要注意的点 #

• 单表任务别占太多资源：可以通过spark.sql.shuffle.partitions调整单表处理的分区数，避免某张表占用集群所有资源，影响其他表并行。
• 严格资源隔离的话：用Databricks的作业集群，每个表任务提交到独立的作业集群，比共享集群的并行更可控。

内容的提问来源于stack exchange，提问作者Justin Mahesh