AWS托管Airflow并发任务与Worker非线性关联及性能优化问询

问题背景 #

使用AWS托管Airflow的Large规格实例（单Worker配4vCPUs、8GB RAM），默认单Worker并发为20，但实际单Worker（Min=1，Max=1，Scheduler=2）可承载约40个不同DAG的任务，超量后延迟陡增；25个Worker理论可承载1000个任务，实际仅支持260，超量后延迟飙升，需调整配置提升性能。

可调整的关键配置项 #

1. Worker进程并发参数 #

• celeryd_concurrency：默认20，根据实际负载可上调至35-40（预留1-2GB内存给系统进程），直接拉高单Worker的任务处理能力
• worker_autoscale：设置为40,20，峰期拉满40并发，闲时缩至20，避免资源空耗

2. Scheduler调度优化 #

• scheduler_max_threads：当前设为2，Large实例Scheduler可承载更高线程数，调整至8-12，提升DAG解析和任务调度吞吐量，减少调度排队
• min_file_process_interval：从默认300s修改为60s，加快DAG文件扫描速度，让新任务更快被调度（注意不要低于30s，避免Scheduler CPU占用过高）
• dag_dir_list_interval：同步调整为60s，提升DAG目录扫描频率，避免新DAG或任务被漏调度

3. 任务队列与资源隔离 #

• celery_broker_transport_options：添加{'prefetch_count': 1}，避免Worker一次性拉取过多任务导致堆积，让队列任务分配更均匀
• 启用任务优先级：给核心任务配置task_priority_weight，确保关键任务优先调度，减少核心业务延迟
• 拆分专用队列：将IO密集型、CPU密集型任务分配到不同队列，避免不同类型任务争抢资源

4. Worker系统资源配置 #

• worker_memory_limit：设置为7GB，预留1GB内存给系统进程，防止Worker因OOM重启导致任务中断
• worker_cpu_affinity：开启该配置，绑定Worker进程到指定CPU核心，减少上下文切换开销，提升处理效率
• 自动扩缩容策略：将max_workers调整至30以上，同时设置worker_keep_alive为300s，让Worker在空闲时保持存活，避免频繁启停的开销

5. 元数据库优化 #

• 升级RDS实例规格：若使用默认小规格RDS，升级至db.t3.large或更高，Airflow任务状态、调度逻辑均依赖元数据库，DB性能不足会直接拖慢整个系统
• 开启DB连接池：设置sql_alchemy_pool_size为20，sql_alchemy_max_overflow为40，减少重复建立DB连接的耗时

验证步骤 #

• 先调整单Worker参数，压测确认单Worker稳定承载40任务的资源占用（CPU不超90%、内存不超7GB）
• 逐步增加Worker数量（每次加5个），压测并监控：Worker CPU/RAM使用率、Celery队列长度、Scheduler线程利用率、DB查询耗时，找到最优Worker数量和任务承载阈值
• 重点关注队列长度，若队列持续增长，说明调度或Worker处理能力不足，需继续调整参数

内容的提问来源于stack exchange，提问作者HENSEL WILSON GOVEAS