Spark新手求助：提交任务遇Initial job未获取集群资源报错

排查步骤 #

• 检查Worker节点状态
  登录Spark Master的UI（默认地址http://neem-2:8080），查看Workers列表，确认是否有Worker节点成功注册。如果无Worker显示：

  1. 登录Worker节点，执行ps aux | grep spark-worker，检查Worker进程是否在运行
  2. 若进程未启动，手动启动Worker：/opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker spark://neem-2:7077
  3. 查看Worker日志（默认路径SPARK_HOME/logs），排查是否存在连接Master失败的报错（如网络不通、端口占用）

• 验证Master与Worker的网络连通性
  在Worker节点执行ping neem-2确认网络可达；再用telnet neem-2 7077测试Master的7077端口是否开放

• 检查Worker资源余量
  若Worker已注册但任务无法分配：

  1. 在Master UI的Worker详情页，查看CPU、内存的已用/剩余情况，确认剩余资源是否满足任务的executor配置要求
  2. 调整任务提交参数，比如降低executor内存：--executor-memory 1g，或减少executor核数：--executor-cores 1

• 核对任务提交参数
  确认--master参数的地址无误，同时在Worker节点执行nslookup neem-2，验证Master主机名是否能正常解析

额外提示 #

如果是首次搭建集群，需确保Worker节点的spark-env.sh中配置了SPARK_MASTER_URL=spark://neem-2:7077，避免Worker启动时无法自动连接Master

内容的提问来源于stack exchange，提问作者mohammad khoshnazar