AWS Classic ELB随机返回504/503错误无异常日志该如何排查

1. ELB侧配置与状态排查 #

• 核对健康检查规则：检查Classic ELB的健康检查阈值、超时时间、检查路径配置。若健康检查超时过短、不健康阈值设置过低，EC2短暂响应延迟就会被ELB标记为不健康，此时流量不会转发到后端，直接返回503/504，对应请求不会出现在Apache日志中。
• 核对空闲超时配置：Classic ELB默认空闲超时为60s，若静态资源体积较大、客户端网络较差，请求未完成传输就触发ELB断连，会返回504，且请求未完整到达Apache，无对应日志。
• 查看后端实例健康波动记录：在EC2控制台查看ELB后端实例的历史健康状态，确认是否存在实例频繁在健康/不健康状态间切换的情况，匹配故障发生的时间点。
• 核实ELB吞吐量上限：Classic ELB存在默认流量吞吐量限制，若业务流量突增超过承载上限，会出现随机丢包、超时，此时ELB日志可能无法完整记录所有异常请求。

2. 后端EC2实例侧排查 #

• 检查Apache配置：核对MaxRequestWorkers、KeepAliveTimeout等核心参数，t2.small实例资源有限，若工作进程占满导致新请求排队，超过ELB超时阈值就会被ELB直接返回报错，请求未进入Apache处理逻辑所以无访问日志。
• 排查EC2资源瓶颈：查看故障时间点EC2的CPU、内存、磁盘IO、网络IO指标，t2实例存在CPU积分机制，积分耗尽后性能会被强制限制，导致请求处理延迟触发ELB超时。
• 核对网络策略：检查EC2安全组、子网网络ACL规则，确认是否存在误拦截ELB网段请求的配置，导致部分请求在网络层被丢弃，未到达Apache服务。

3. 链路验证排查 #

• 链路抓包验证：在EC2上执行tcpdump抓取ELB网段的入向请求，确认故障发生时，对应报错的请求是否真的发送到了EC2侧，还是直接在ELB层就被拦截返回。
• 绕开ELB压测验证：直接绑定EC2公网IP访问静态资源，批量请求故障路径统计响应耗时，确认是否存在资源响应耗时超过ELB超时阈值的情况。

内容的提问来源于stack exchange，提问作者hack