我来帮你梳理下这个问题，结合你的1主9从集群配置和提交命令，大概率是这几个常见原因导致的，咱们一步步排查解决：

1. 先查Driver日志，定位核心问题 #

Cluster模式下Driver是运行在Worker节点上的，你可以通过Spark Master的Web UI（默认http://master:8080）找到对应的应用，点击Driver所在节点的链接查看完整日志。重点看这几个点：

• 输入路径是否正确：你提交命令里最后参数是hdfs://master:9000/user/exemple/text...，这里是不是路径没写完整？比如应该是text.txt或者具体目录？如果路径无效，Driver会一直重试读取数据，导致无法退出。
• 有没有报错信息：比如HDFS权限问题、网络连接失败，或者代码里的异常没有被捕获，都会让Driver卡住。

2. 检查WordCount代码逻辑 #

WordCount本身逻辑简单，但容易忽略细节：

• 有没有正确关闭SparkContext/SparkSession？比如代码最后有没有调用sc.stop()或者spark.close()？如果没手动关闭，在某些场景下Driver会等待资源释放超时。
• 有没有额外的异步操作？比如代码里启动了线程但没join，或者等待外部服务响应，这些都会让Driver挂起无法退出。

3. 排查集群资源与参数配置 #

你的提交命令里设置了--total-executor-cores 3和--executor-cores 1，对应会启动3个Executor。可以检查：

• Slave节点资源是否充足：有没有Slave节点的CPU、内存被其他进程占用，导致Executor无法正常启动或退出？如果Executor状态是Failed/Lost，Driver会一直等待状态更新。
• 参数是否冲突：--total-executor-cores和--num-executors尽量不要混用，建议换成--num-executors 3来明确指定Executor数量，避免资源分配异常。
• 先去掉--supervise参数：这个参数会在Driver失败时重启，但如果Driver是卡住而非失败，会导致它一直挂着，先去掉试试能不能正常退出。

4. 确认HDFS输出路径配置 #

Spark默认不允许覆盖已存在的输出路径，如果你的应用指定了输出路径但该路径已经存在，Driver会卡住等待处理。可以：

• 提交命令里明确指定输出路径，比如最后加上hdfs://master:9000/user/exemple/wordcount-output，确保这个路径不存在。
• 或者添加配置允许覆盖：--conf spark.hadoop.mapreduce.output.fileoutputformat.outputdir.overwrite=true。

快速排查步骤总结 #

• 打开Spark Master UI，查看Driver日志，找明确的错误提示；
• 检查代码是否正确关闭Spark上下文；
• 确认HDFS输入/输出路径的有效性；
• 简化提交命令，去掉--supervise和--total-executor-cores，用--num-executors 3替代；
• 检查Slave节点的CPU、内存资源是否充足。

内容的提问来源于stack exchange，提问作者Yacine Mohammed