AWS EC2实例中Celery CPU占用过高致部署及页面加载缓慢

核心定位 #

两个Celery实例各占用45%-60%的CPU资源，是导致eb deploy部署缓慢、页面加载耗时久的直接原因——CPU资源被Celery大量消耗，留给Web服务部署进程和请求处理的资源严重不足。

排查与解决步骤 #

1. 临时恢复服务可用性 #

先释放被占用的CPU资源，让部署和页面请求恢复正常：

• 登录EC2实例后，执行ps aux | grep celery获取Celery进程的PID
• 执行kill -TERM <PID>优雅终止进程（避免任务丢失，若需强制终止用kill -9 <PID>）
• 若用systemd管理Celery，直接执行sudo systemctl stop celery

2. 深挖Celery高CPU根源 #

• 任务代码问题：检查Celery任务是否存在无限循环、未优化的计算密集型逻辑、全表扫描类的低效数据库查询。可通过celery inspect active查看当前运行的任务，定位具体耗时任务。
• 并发配置过载：查看Celery启动命令中的--concurrency参数，若设置的并发数远超过EC2实例的CPU核心数，会导致进程频繁抢占资源。建议将并发数设为实例核心数的1-2倍（比如2核实例设为2-4）。
• 消息队列堆积：如果RabbitMQ/Redis等消息队列中有大量待处理任务，Celery会持续高负载运行。可根据任务重要性，选择清空队列（谨慎操作）或临时扩容实例资源。

3. 长期优化方案 #

• 调整EB部署策略：通过Elastic Beanstalk配置文件，设置部署期间的资源优先级，或采用蓝绿部署模式，减少部署对在线服务的影响。
• 升级实例规格：若当前EC2实例（如t2.micro）CPU规格不足，可升级到t2.small、t3.medium等更高配置的实例，确保同时支撑Web服务和Celery任务的资源需求。
• 配置监控告警：利用CloudWatch监控CPU使用率、Celery任务队列长度等指标，设置告警阈值，提前发现资源瓶颈并处理。

内容的提问来源于stack exchange，提问作者Daniel Johnson