Spark 2.3 Thrift Server：UI中Executor核数与活跃任务数不符咨询

嘿，这个问题我之前帮不少同学排查过，咱们结合你用的Spark 2.3版本和配置来拆解几个核心原因：

1. 混淆了「活跃任务」的统计范围和核心并行能力 #

首先得明确：Spark的总核数（3*40=120）是集群同时能运行的最大任务数，但Web UI里的「活跃任务数」有时候会包含两种情况：

• 真正在executor cores上运行的任务
• 已经进入调度队列、等待分配资源的任务（有些UI版本里会把这类也归到“活跃”范畴，或者你误把「总任务数」当成了「正在运行的任务数」）
  你可以仔细看UI里的「Running Tasks」和「Pending Tasks」分栏，真正同时运行的任务数应该不会超过总核数。

2. Thrift Server多会话的资源共享特性 #

Thrift Server是多用户/多会话共享的服务——你在spark-defaults.conf里配置的executor参数是全局集群资源，不是给单个会话独占的。如果此时还有其他用户或会话在提交SQL查询，他们的任务会和你的任务一起占用集群资源，导致总活跃任务数超过你预期的单会话核数总和。

3. 动态分配功能意外开启 #

虽然你配置了spark.executor.instances=3，但如果spark.dynamicAllocation.enabled被设为true（Spark 2.3默认是关闭的，但可能被其他配置覆盖），Spark会根据当前任务负载自动扩容executor数量。比如集群资源足够的话，Spark会额外启动更多executor，总核数就会超过120，自然能运行更多活跃任务。
你可以去UI的「Environment」页面搜索spark.dynamicAllocation.enabled参数，确认是否被意外启用。

4. 配置文件参数未实际生效 #

有时候会出现配置文件没被正确加载的情况：

• 比如Thrift Server启动时，用命令行参数（如--executor-cores、--num-executors）覆盖了spark-defaults.conf里的设置
• 或者spark-defaults.conf的路径不对，Thrift Server没读到正确的配置
  你同样可以在UI的「Environment」页面查看spark.executor.cores、spark.executor.instances的实际生效值，确认和你的配置一致。

5. 数据源分区数远大于总核数 #

Spark的任务数是由数据源的分区数决定的。如果你的SQL读取的数据源（比如Hive表、Parquet文件）有几百个分区，Spark会生成对应数量的任务。此时这些任务会进入调度队列，UI里可能会显示所有待执行的任务为“活跃”状态，但真正同时运行的任务数还是会被总核数限制在120以内。

建议你先去Spark UI的「Environment」页核对实际生效的资源参数，再看「Jobs」页的任务分栏（Running/Pending），这样就能快速定位具体原因啦～

内容的提问来源于stack exchange，提问作者louis lau