Spark运行机制问询:worker node存有数据但无计算资源执行task时的处理逻辑
目标数据节点无可用计算资源时的Spark内部处理逻辑
- Spark调度器碰到这类场景时,核心思路是优先用短暂等待换取数据本地性的性能收益,不会一发现资源不足就立刻做跨节点调度
- 配套的分层超时等待机制:
- 调度器会根据task关联的数据存储位置,从高到低划分四级本地性优先级:
PROCESS_LOCAL(数据就在当前待匹配executor的内存/磁盘上)、NODE_LOCAL(数据在同一worker节点的其他executor上)、RACK_LOCAL(数据在同机架的其他worker节点上)、NO_PREF(没有固定位置要求) - 针对每一级能达成的本地性等级,调度器会给对应的目标节点留出资源释放的等待窗口,默认等待时长由
spark.locality.wait参数控制,初始值为3s;每往下降一级本地性要求,就会叠加对应累计等待时间
- 调度器会根据task关联的数据存储位置,从高到低划分四级本地性优先级:
- 等待超时后的调度逻辑:
- 如果在对应等级的等待窗口结束后,存目标数据的worker节点依旧没有空闲executor和计算资源,调度器会自动将该task的本地性要求降一档,重新开始匹配可用资源
- 直到所有等待窗口耗尽,task会被调度到集群里任意当前有空闲资源的executor上运行,这时就会触发跨节点数据传输:执行task的executor向原存储目标数据的节点发起数据块拉取请求,通过网络读取需要的分片数据
- 实际使用的常见注意点:
- 如果集群长期处于高负载状态,把等待阈值设得过长,会导致大量task排队等资源,反而拉低整体作业的运行效率
- 如果集群网络带宽冗余很低,把等待阈值设得过短,会引发大量跨节点数据传输,挤占网络资源拖慢计算速度
内容的提问来源于stack exchange,提问作者Rishabh Tiwari
相关产品推荐
相关产品推荐

