关于Cloud Composer 2调度器、Web服务器及ENVIRONMENT_SIZE扩容的疑问

一、需要升级调度器CPU/内存的场景及信号 #

调度器的核心工作远不止“启动任务”，它要负责DAG文件解析、任务依赖计算、实例状态跟踪、传感器任务轮询、重试逻辑处理等，当这些工作的负载超过默认资源上限时，就需要扩容：

• 高复杂度DAG集群场景：当你有上千个DAG，且每个DAG包含多层分支、跨DAG依赖，或者大量使用Sensor类任务（比如HttpSensor、ExternalTaskSensor）时，调度器需要持续解析DAG、轮询传感器状态，CPU和内存占用会飙升。比如某零售企业，日常运行1200+数据同步DAG，每个DAG平均有30个任务，其中20%是传感器任务，默认调度器资源导致任务启动延迟平均达5分钟，升级CPU/内存后延迟降至10秒内。
• 短周期高频任务场景：如果有大量每分钟/5分钟级别的调度任务（比如实时数据采集、监控指标上报），调度器需要不断生成新的任务实例并调度，并发压力极大。比如某金融公司，有400个每分钟运行的监控DAG，调度器队列积压数持续超过2000，升级资源后队列积压降至100以内。
• 触发信号：
  • Cloud Composer监控面板中scheduler_queue_size指标持续高于500（可根据自身任务量调整阈值）
  • 日志中频繁出现Task instance not scheduled within expected time或DAG parsing timeout报错
  • 任务实际启动时间比调度时间延迟超过1分钟
  • 调度器进程因内存不足频繁OOM重启

二、需要升级Web服务器CPU/内存/存储的场景及信号 #

即使是内部使用，以下场景下Web服务器的卡顿会直接影响工作效率，甚至阻塞业务操作：

• 高并发用户操作场景：当团队有30+成员同时使用Web UI，比如批量触发DAG、查看近7天的任务历史日志、浏览DAG依赖树时，Web服务器的CPU和内存会被占满。比如某互联网公司，数据团队有45人，每天早高峰集中查看任务运行状态、触发补数任务，默认Web服务器导致UI加载DAG列表需要20秒，升级后降至2秒。
• 批量操作与API调用场景：如果通过Airflow API做自动化操作（比如CI/CD流水线触发DAG、外部系统查询任务状态），高并发的API请求会压垮Web服务器。比如某DevOps团队，用API每分钟触发100次DAG运行，默认Web服务器返回503错误率达15%，升级资源后错误率降至0。
• 大日志存储需求场景：如果任务日志量大（比如每个任务生成100MB以上日志），Web服务器的存储不足会导致日志无法加载，或者存储I/O过高拖慢UI响应。比如某大数据公司，离线计算任务单日志平均200MB，默认Web服务器存储很快占满，升级存储后日志加载流畅。
• 触发信号：
  • Web UI加载DAG列表、任务日志时超时或卡顿严重
  • Airflow API返回500/503错误的频率增加
  • 监控中Web服务器CPU使用率持续超过85%，内存使用率超过90%
  • 日志中出现Worker timeout或Out of memory相关报错

三、需要调整ENVIRONMENT_SIZE至非SMALL规格的场景及信号 #

Airflow数据库（由ENVIRONMENT_SIZE控制）存储的不仅是DAG元数据，还有海量的任务实例状态、日志索引、用户操作记录等，高并发读写和大数据量查询会对数据库资源提出要求：

• 海量任务实例场景：当每天生成10万+任务实例，且需要保留3个月以上的历史数据时，数据库的查询和写入压力会急剧上升。比如某电商公司，黑五期间每天生成80万+订单数据处理任务实例，默认SMALL规格数据库导致任务状态更新延迟达3分钟，升级至MEDIUM后延迟降至10秒内。
• 复杂元数据查询场景：如果经常使用Web UI的“任务历史统计”“DAG运行时长分析”功能，或者自定义脚本查询Airflow元数据（比如统计月度任务失败率），SMALL规格数据库会因为查询性能不足导致加载缓慢。比如某数据分析团队，每周生成全量任务运行报表，SMALL数据库查询耗时15分钟，升级后耗时2分钟。
• 高并发读写场景：当调度器和Worker同时向数据库写入任务状态、读取依赖信息时，SMALL规格的数据库连接数和CPU/内存会成为瓶颈。比如某公司，有50个Worker同时运行任务，数据库连接数持续达上限，导致任务写入状态失败，升级后连接数瓶颈解除。
• 触发信号：
  • Cloud Composer监控中数据库CPU/内存使用率持续超过70%
  • Web UI中任务状态更新滞后（比如任务已完成，但UI显示仍在运行）
  • 查询任务历史或统计报表时加载时间超过5分钟
  • 日志中出现Database connection timeout或Deadlock found when trying to get lock报错

内容的提问来源于stack exchange，提问作者Mike Williamson