Apache Mesos/Chronos 任务卡RUNNING无法更新终止方案问询
Mesos 1.3.1 + Chronos 卡滞RUNNING状态任务处理与根因规避方案
不重启Mesos Agent的前提下移除卡滞任务的操作步骤
- 第一步:从Mesos Master侧拉取卡滞任务的核心标识参数
执行命令获取对应卡滞任务的agent_id、framework_id、executor_id:curl -s http://<master节点IP>:5050/state | jq '.frameworks[] | select(.name == "chronos") | .tasks[] | select(.id == "<卡滞任务ID>") | {agent_id: .slave_id, framework_id, executor_id}'
若普通查询接口拉不到对应任务,可直接读取Master本地的权威状态存储文件(路径默认/var/lib/mesos/meta/下对应framework的状态记录)获取参数。 - 第二步:绕开Chronos从Master侧发起带强制标记的任务终止请求
普通Kill请求会给executor发送SIGTERM信号等待主动退出,卡滞场景下executor已无法响应控制信号,因此需要调用带force参数的终止接口,直接要求Agent销毁对应executor并同步终态:
发送请求后等待10秒,观察Master侧任务状态是否更新为KILLED。curl -X POST http://<master节点IP>:5050/api/v1 \ -H "Content-Type: application/json" \ -d '{ "type": "KILL_TASK", "kill_task": { "task_id": {"value": "<卡滞任务ID>"}, "agent_id": {"value": "<第一步获取的agent_id>"}, "force": true } }' - 第三步:若强制终止请求未生效,直接在对应Agent侧清理卡滞状态
当Agent与Master的控制通道存在瞬时拥塞时,Master的指令可能无法到达Agent,此时直接在Agent节点执行本地清理:- 定位并硬终止卡滞的executor容器:执行
sudo docker ps | grep <executor_id>拿到容器ID,用sudo docker kill <容器ID>直接终止容器,规避docker stop的超时等待问题。 - 触发Agent本地状态重载:找到Agent上对应executor的工作目录(默认路径
/var/lib/mesos/slave/executors/<framework_id>/<executor_id>/),修改该目录下状态存储文件中对应任务的状态为TASK_KILLED,随后给mesos-agent进程发送SIGHUP信号触发本地状态重载,Agent会在下次心跳同步时将正确状态上报给Master,全程无需重启Agent进程。
- 定位并硬终止卡滞的executor容器:执行
从根源预防卡滞问题的落地方案
这类问题的触发原因是Mesos 1.3.1在高并发短任务调度场景下,存在executor状态消息无重传、Agent消息队列拥塞丢帧的已知缺陷,可通过以下配置从根源规避:
- 优化Agent的消息队列承载能力
Mesos 1.3.1默认的libprocess消息队列容量较低,100个作业每30分钟调度的规模下,容易出现瞬时队列拥塞导致状态消息丢失,需要在mesos-agent启动配置中新增以下参数,提升队列容量:
调整后总队列容量从默认10MB提升至100MB,单进程队列容量从默认1MB提升至20MB,可覆盖短任务并发调度的峰值流量。--libprocess_queue_bytes=104857600 --libprocess_per_process_queue_bytes=20971520 - 修正超时参数的匹配逻辑
当前配置executor_registration_timeout为2分钟,远大于任务本身20秒的运行时长,容易出现executor已经退出但Agent仍在等待注册、将任务长期标记为RUNNING的问题。需要将该参数调整为30秒,与offer_timeout的30秒配置对齐,缩短无效等待的时间窗口。 - 改造executor的退出逻辑
原逻辑为executor休眠20秒后直接退出,没有等待Agent对状态更新的确认。需要改造为:executor执行完成任务后,连续两次向Agent发送TASK_FINISHED状态更新,直到收到Agent的状态接收ack之后再退出,避免状态消息单次传输丢失导致的Master侧永远收不到终态。 - 优化状态对账的判断规则
当前对账逻辑完全信任Agent上报的RUNNING状态,无超时兜底判断,会导致卡滞任务被反复刷新延长存活时间。需新增规则:当任务处于RUNNING状态的持续时长超过作业预期运行时长的3倍时(如运行时长20秒的作业,超过60秒仍为RUNNING即判定为卡滞),对账流程直接触发强制清理流程,无需等待Agent的状态上报。 - 补充版本缺陷修复
Mesos 1.3.1原生版本存在executor状态重传机制缺失、Agent本地状态存储与进程内存状态不同步的已知bug,可在不升级大版本的前提下,单独打上对应bug的补丁包,从代码层面修复消息丢帧的问题。
内容的提问来源于stack exchange,提问作者mye1102
相关产品推荐
相关产品推荐

