Spark应用并发瓶颈咨询：client模式切换cluster模式能否解决问题

问题1：切换cluster模式是否可以消除当前瓶颈 #

client模式下，每个Spark任务的Driver进程都运行在提交任务的中间服务器上，CPU、内存资源都由中间服务器承载，10个并发就耗尽资源是该模式的典型特征。
切换为cluster模式后，Driver进程会被调度到集群的工作节点运行，中间服务器仅负责轻量的请求处理和spark-submit命令调用，可以直接消除当前的中间服务器单点瓶颈，落地时需要满足两个前提：

• 集群总资源预留足够支撑100~200个并发Driver的运行开销，可按单Driver最低配置1核1G估算资源配额
• 任务提交逻辑适配cluster模式要求：依赖文件提前上传至HDFS等集群可访问存储，不依赖中间服务器本地路径，日志查询通过Spark历史服务实现，不读取中间服务器本地日志

问题2：高并发Spark应用的落地方案 #

业内已有大量企业实现了单集群数百到数千级Spark任务并发的场景，核心优化方案可按四层落地：

提交侧优化 #

• 中间提交服务做无状态改造，支持横向扩容，单台无状态提交服务可支撑至少500次/分钟的任务提交请求，2台即可满足200并发的要求
• 引入请求队列做削峰处理，遇到突发并发请求时按集群承载能力匀速提交任务，避免瞬时请求压垮集群调度器

集群调度侧优化 #

• 调整调度器参数上限：使用YARN时调高yarn.resourcemanager.scheduler.maximum-applications参数，放开集群同时运行的应用数限制；使用K8s时调整Spark Operator的并发调度配额
• 复用Spark会话：如果业务以查询类任务为主，可部署Livy服务或者Spark Thrift Server，多个请求复用同一个Spark Session，无需每次都启动新的Driver，资源开销可降低90%以上，并发能力直接提升一个量级

任务侧优化 #

• 按需配置Driver资源：将spark.driver.memory、spark.driver.cores调整到满足任务运行的最小值，不要使用默认配置浪费集群资源
• 开启动态资源分配，Executor按需申请、空闲自动释放，避免任务长期占用闲置资源

容灾兜底优化 #

• 配置业务维度的并发配额，避免异常请求占满全部集群资源
• 新增任务超时自动杀死逻辑，避免僵死任务长期占用资源

内容的提问来源于stack exchange，提问作者Korntewin Boonchuay