You need to enable JavaScript to run this app. Spark未用满可用CPU:Hive on Spark作业达80%进度后算力骤降求助
优惠活动
大模型
产品
解决方案
定价
更多

Spark未用满可用CPU:Hive on Spark作业达80%进度后算力骤降求助

Hive on Spark 作业80%进度掉算力的定位与修复

核心判断

该场景并非长尾任务的算力利用率不足问题——本质是可被Spark调度器直接分发的任务数远低于界面显示的“剩余任务数”,才会出现19万待跑任务却用不满2000多空闲CPU的现象。结合已排除的资源抢占、动态分配、表层数据倾斜问题,按优先级从高到低排查以下场景:

1. 最常见诱因:DAG调度层的Stage阻塞

很多人会把Spark UI显示的总任务数当成可调度任务池的容量,但实际上:

  • Spark UI统计的总任务完成度,是跨所有Stage的任务累计值。80%的完成度极大概率是上游Stage跑完了80%的任务,剩余19万任务属于存在shuffle依赖的下游Stage。
  • Spark调度器不会等上游Stage100%跑完才启动下游Stage,但如果上游存在未完成的长尾分片任务,下游依赖这些分片的任务根本无法进入可调度队列。
  • 这个场景和常规认知里的“数据倾斜只是单任务慢”有本质区别:倾斜的长尾任务不是单纯耗时久,而是会持续持有对应shuffle分片的文件锁,挡住成百上千个下游任务的调度入口。最终的结果是,界面显示还有19万任务待跑,实际调度器里能分发给executor的可运行任务可能只剩几十个,CPU自然会掉到两位数。
  • 快速验证:打开Spark UI的DAG可视化页面,跳过总进度条,确认掉速节点是否刚好卡在shuffle写完成的边界,检查是否存在个别上游任务的运行时长远超同Stage平均任务时长。

2. 高频踩坑:External Shuffle Service(ESS)性能瓶颈

Hive on Spark默认开启ESS做跨节点shuffle文件管理,百万级任务规模下很容易触发性能拐点:

  • 当作业跑到80%进度时,shuffle写阶段基本结束,所有executor会同步发起shuffle块拉取请求。此时如果ESS进程出现文件句柄耗尽、网络带宽打满、磁盘IO饱和,就会出现请求排队:executor拿到拉取响应之前不会启动新的计算任务,所有算力都会处于空等状态。
  • 这个场景的表现和描述完全匹配:前期shuffle写阶段executor满载跑计算;进入集中拉取阶段后,因为等ESS响应,算力逐步下降,最后只剩零星几个拿到shuffle块的任务在运行,CPU利用率掉到两位数。
  • 快速验证:掉速阶段监控NM节点上的ESS进程指标,如果句柄数打满、CPU/网络/磁盘资源占满,即可确认问题。

3. 容易忽略的问题:Hive外部表的元数据调度阻塞

百万级分片的大型Hive外部表,会产生大量小文件分片,极易触发元数据调度阻塞:

  • Spark读外部表时,会先把所有文件元数据拉取到Driver端生成分片。初期预拉取的元数据对应的分片会顺畅调度,CPU能跑满;当作业跑到80%进度,预拉取的元数据消耗完毕,Driver会开始实时和NameNode、Metastore交互拉取剩余分片的位置信息。
  • 当分片规模接近百万级时,Driver端的调度线程会被同步RPC请求阻塞,调度速度远低于任务完成速度,最终导致没有足够任务分发给空闲executor,算力持续下降。

可直接落地的修复动作

  • 对应Stage阻塞类故障:开启Spark自适应执行(AQE)的倾斜分片拆分能力,配置spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes=256m,让Spark自动拆分倾斜的shuffle分片,避免长尾任务挡住下游调度;同时调大调度事件队列容量spark.scheduler.listenerbus.eventqueue.capacity=10000,避免调度事件堵塞。
  • 对应ESS性能瓶颈故障:调大shuffle拉取的重试次数spark.shuffle.io.maxRetries=10、重试间隔spark.shuffle.io.retryWait=10s;调大ESS的shuffle索引缓存大小spark.shuffle.service.index.cache.size=1024m,减少磁盘随机读开销;如果集群版本支持,直接关闭ESS改用executor内置shuffle管理,降低跨节点通信开销。
  • 对应元数据调度阻塞故障:把分片大小调整为128m,通过配置spark.sql.files.maxPartitionBytes=128m把总分片数压到20万以内(当前99万分片的调度开销远大于实际计算开销);提前合并Hive表的小文件,把底层文件数控制在10万以内,降低Driver端的元数据拉取压力。

内容的提问来源于stack exchange,提问作者prodigaltim

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 22:06:07