为何设置--num-executors后Spark Web UI的Executors标签页无执行器显示

• 集群资源不足：若使用YARN、K8s、Standalone等集群管理器，当前集群剩余CPU、内存资源不满足单个执行器的配置要求时，执行器会一直处于待调度状态，无法完成启动注册，自然不会在Executors页面展示。可调整spark.executor.memory、spark.executor.cores参数降低单执行器资源占用，或等待集群释放资源后重试。
• 执行器启动后异常崩溃：执行器进程启动后因依赖缺失、类路径冲突、JVM参数配置错误等问题直接退出，还未完成向Driver的注册流程。可查看集群对应执行器的容器日志、Worker节点日志排查具体报错。
• 动态资源分配覆盖静态配置：如果任务开启了spark.dynamicAllocation.enabled=true配置，--num-executors的静态配置会自动失效，若当前任务没有待调度的运行态任务，动态分配策略不会主动启动执行器。可在Spark Web UI的环境配置页确认该参数的实际生效值。
• 网络连通性异常：Driver绑定的地址为本地回环地址，或Driver与执行器节点之间的通信端口被防火墙拦截，会导致执行器无法和Driver建立连接完成注册，也就不会出现在UI列表中。可检查spark.driver.host是否配置为集群内所有节点可达的公网/内网IP，同时确认节点间相关通信端口已放开。
• 集群管理器状态异常：若使用Standalone模式，集群无正常存活的Worker节点，或Worker未成功注册到Master，也无法分配执行器资源。可先查看Master UI确认集群节点的存活状态。

内容的提问来源于stack exchange，提问作者Ayushi Dewangan