如何解决Nginx服务器因CPU使用率过高导致的504错误问题
Nginx 504错误(CPU跑满故障)排查与解决方案
重启后CPU飙升阶段实时排查
该阶段是定位根因的黄金时间,优先执行以下操作:
- 执行
top命令,按Shift+P按CPU使用率排序,明确占CPU最高的进程归属:是Nginx本身、后端应用(PHP-FPM/Java/Python等)还是其他未知进程 - 若为Nginx进程占比过高:
- 执行
nginx -V查看编译参数,确认是否开启了调试类模块、错误日志级别是否设置为debug - 执行
tail -f /var/log/nginx/error.log查看是否存在大量循环报错
- 执行
- 若为后端应用进程占比过高:
- 直接抓取进程调用栈:Java用
jstack <进程ID>,PHP用strace -p <进程ID> -tt,Python用py-spy top --pid <进程ID>,排查是否存在死循环代码、或者大量请求触发计算密集型逻辑
- 直接抓取进程调用栈:Java用
Nginx配置与流量排查
- 执行
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20统计访问IP排名,确认是否存在CC攻击、恶意爬虫短时间发起大量请求的特征 - 检查Nginx核心配置合理性:8核服务器建议
worker_processes auto,worker_rlimit_nofile调整至65535以上,避免连接占满后进程疯狂重试消耗CPU - 核对代理超时配置:
proxy_connect_timeout、proxy_send_timeout、proxy_read_timeout建议设置为30s以内,避免大量挂起的请求占满进程资源,触发504超时
周期性复现问题根因排查
故障间隔15-20天复现、崩溃2天自行恢复,基本和周期性执行的任务强相关,重点排查以下项:
- 查看系统定时任务:执行
crontab -l以及遍历/etc/cron.d/目录下所有任务,确认是否有15-20天执行一次的计算密集型任务,比如全量数据统计、大规模日志归档、全库备份等,排查脚本是否存在死循环、锁等待、内存溢出问题 - 查看数据库慢查询日志,确认是否有周期执行的慢SQL拖垮整个服务性能,导致Nginx等待后端超时返回504
- 排查是否存在爬虫/扫描器的周期爬取策略,刚好每15-20天发起一次全量站点爬取,触发服务性能瓶颈
临时缓解方案
- 配置Nginx限流模块
limit_req_zone,对单IP请求频率做限制,避免突发流量直接打满CPU - 配置CPU使用率告警,阈值设为600%,触发后自动执行
systemctl reload nginx或者后端服务重载操作,避免服务完全宕机 - 若确认是后端应用存在内存泄漏、偶发死循环问题,可临时配置定时重启后端服务的任务,比如每周重启一次,避免问题累计到崩溃阈值
内容的提问来源于stack exchange,提问作者Tanuj Das
相关产品推荐
相关产品推荐

