Spark集群仅支持同时运行2个任务问题及SparkUI复用咨询

1. 为什么每个任务都会创建SparkUI？怎么解决？ #

首先得明确：每个独立提交的Spark应用（你这里的每个任务都是一个独立应用）默认都会启动自己的SparkUI。SparkUI是用来监控单个应用的运行状态、任务进度、资源使用情况的核心组件，所以Spark设计成每个应用实例对应一个UI实例，这是默认行为。

至于你看到的端口绑定警告，是因为SparkUI默认使用4040端口，当这个端口被第一个应用占用后，第二个应用会自动尝试4041，第三个尝试4042，以此类推，这是Spark的自动端口 fallback 机制，本身不是错误，但如果不想看到这些警告或者不想每个应用都开UI，可以试试这些方法：

• 关闭SparkUI：如果不需要监控单个应用的UI，提交任务时添加配置 --conf spark.ui.enabled=false，这样应用就不会启动SparkUI，自然也不会有端口冲突问题。
• 指定固定UI端口（单应用场景）：如果你需要UI但想固定端口，可以用 --conf spark.ui.port=XXXX（比如4045），但注意这个方法只适合同时运行一个应用的场景，多个应用用同一个端口会直接启动失败。
• 用YARN统一监控：你是用YARN模式提交任务，其实可以直接通过YARN的ResourceManager UI（通常在主节点的8088端口）来查看所有运行中的应用状态，不用依赖每个应用的SparkUI，这样也能避免端口问题。

2. 能不能用同一个SparkSession运行多个任务？ #

完全可以，而且这是推荐的资源优化方式！复用同一个SparkSession可以避免重复初始化上下文、重复申请集群资源，大大提升效率。

你现在的问题是每次提交一个独立的任务就会创建一个新的SparkSession（因为每个提交都是一个独立的Spark应用），要复用Session的话，你需要把多个任务逻辑放在同一个应用里执行，比如：

val spark: SparkSession = {
  SparkSession.builder()
    .appName("Multi-Task Analytics")
    .config("spark.scheduler.mode", "FAIR")
    .getOrCreate()
}

// 第一个分析任务
val task1Result = spark.read.csv("/path/to/data1")
  .groupBy("category")
  .count()
task1Result.write.parquet("/path/to/output1")

// 第二个清洗任务
val task2Data = spark.read.json("/path/to/data2")
  .filter("score > 80")
task2Data.write.csv("/path/to/output2")

// 第三个统计任务
spark.read.parquet("/path/to/data3")
  .agg(sum("amount").alias("total_amount"))
  .show()

// 所有任务完成后关闭Session
spark.stop()

另外，你已经设置了 spark.scheduler.mode=FAIR，这个配置在复用Session跑多任务时特别有用——公平调度模式会让多个任务公平共享集群资源，而不是默认的FIFO模式（必须等一个任务跑完才会执行下一个）。

如果你必须要提交多个独立的应用（比如任务逻辑拆分在不同脚本里），那当前只能同时跑2个任务的问题，其实是集群资源不足导致的：你的两个工作节点总共有8核，每个应用配置了--num-executors 2 --executor-cores 2，也就是每个应用会占用4核（2个executor×2核），两个应用刚好把8核全占满，第三个任务只能等前一个释放资源才能启动。你可以调整应用配置来释放资源，比如：

• 把--executor-cores改成1，这样每个应用占用2核，三个应用总共6核，就能同时运行了；
• 或者把--num-executors改成1，每个应用占用2核，同样能腾出资源给第三个任务。

内容的提问来源于stack exchange，提问作者Sandeep Singh