AWS MWAA Airflow任务无日志随机失败且时长异常求助

1. 内存资源耗尽（核心原因）

   • 日志中的signal 9 (SIGKILL)是操作系统在进程内存占用超出可用资源时，强制终止进程的信号，说明你的mw1.small实例内存无法支撑当前任务负载。
   • Timed out waiting for UP message from ForkPoolWorker是Worker进程被杀死后，主进程无法收到Worker的就绪信号，进一步印证了Worker进程异常终止。
   • signal 15是正常终止信号，通常是调度器清理闲置Worker，但结合SIGKILL日志来看，说明整体资源已紧张到需要强制清理进程。

2. 超长时长显示的原因
   Worker被OS强制杀死后，Airflow调度器/任务监控线程未及时捕获异常，会持续等待任务完成，直到达到你设置的2小时任务超时阈值才标记失败。因此显示的失败时长是任务启动到超时的时间，而Run ID中的时间是任务实际运行到被杀死的真实时长。

3. 日志级别限制排查
   所有组件日志级别设为ERROR，导致丢失大量关键预警信息（如内存使用率过高、Worker启动缓慢、资源竞争警告），无法直接获取任务失败前的资源变化细节。

一、临时调整日志配置，获取关键排查信息 #

• 将Worker、Scheduler、Dag Processor的日志级别临时改为WARNING（无需调至DEBUG，避免日志量过载），可捕获内存预警、Worker资源不足的前置信息，定位触发内存耗尽的具体任务或DAG。
• 重点关注Worker日志中是否有Memory usage exceeded类警告，以及Scheduler日志中任务排队、资源分配的相关记录。

二、优化任务与DAG调度策略 #

1. 精细化控制DAG并发度

   • 除降低全局并发度外，给任务量大的DAG单独设置max_active_runs和concurrency参数，限制单个DAG同时运行的实例数与并行任务数，避免单个大DAG占用全部资源。
   • 示例配置：

     default_args = {
         # 其他默认参数
     }
     with DAG(
         'large_task_dag',
         default_args=default_args,
         max_active_runs=1,  # 限制该DAG同时运行1个实例
         concurrency=5,       # 限制该DAG同时运行5个并行任务
         # 其他DAG配置
     ) as dag:
         # 任务定义
     

2. 错开大DAG的调度时间
   将任务量大的DAG调度时间分散，避免多个大DAG在同一时段启动，集中消耗资源。例如把几个大DAG分别安排在不同小时或半小时窗口运行。

3. 优化任务内存占用

   • 检查大DAG中的任务是否存在内存泄漏、全量加载数据集的情况：
     • 避免在PythonOperator中一次性加载全量数据，改用分批处理；
     • 任务执行完成后清理临时变量、缓存，主动释放内存；
     • 对于Spark、EMR类任务，确保任务自身资源配置合理，不在MWAA Worker上占用过多内存。

三、调整MWAA Worker资源配置 #

1. 降低Worker进程并发数
   在MWAA环境配置中，调低worker_concurrency参数（默认值可能为16），减少单个Worker实例同时运行的任务数，降低单实例内存负载。可先调整为4或8，根据实际负载测试效果。

   • 注意：worker_concurrency设置过高会导致单个Worker进程fork过多子进程，快速耗尽内存。

2. 启用Worker自动缩放（未开启的情况下）
   MWAA支持Worker节点自动缩放，任务排队数增加时自动扩容，任务完成后缩容。该方式仅在高峰时临时增加节点，低谷时缩容，不会长期增加成本。

   • 配置时设置合理缩放阈值（如任务排队数超过10时扩容，低于2时缩容），避免频繁缩放。

四、优化任务超时逻辑 #

• 对实际运行仅数分钟的任务，将execution_timeout设置为更合理的值（如30分钟），即使Worker被杀死，调度器也能更快标记任务失败，减少超长时长显示的情况。
• 注意：不要设置过短，避免正常任务被误判超时。

1. 调整日志级别后，观察1-2天的日志，定位触发内存耗尽的具体任务或DAG；
2. 针对目标DAG优化并发度与调度时间，观察任务失败情况是否减少；
3. 调整Worker concurrency后，通过CloudWatch监控MWAA的MemoryUtilization指标，确保内存使用率稳定在70%以下。

内容的提问来源于stack exchange，提问作者AdagioMolto