AWS ELB+Nginx反向代理栈静态资源请求间歇504/502问题求助

随机命中静态资源、调整ELB超时后错误码从504转502、每10次左右站点加载触发1次故障，这类现象的核心触发逻辑基本都是链路各段的空闲超时梯度不匹配、nginx上游长连接配置缺失，导致nginx从连接池里拿到了被上游ELB提前回收的死连接发起请求，触发连接重置。

• 第一优先级对齐全链路超时梯度
  • 全链路空闲超时必须严格遵循「下游超时 > 上游超时」的梯度设置，从机制上避免“上游先回收空闲连接、下游还复用该连接发请求”的死连接问题。按照你当前的链路结构，可参考的梯度配置为：
    • App ELB 空闲超时保持AWS默认的60s即可
    • nginx 到 App ELB 的上游空闲超时设为50s（比上游留10s的安全缓冲）
    • nginx 自身对客户端的keepalive超时设为75s
    • 外层Proxy ELB 到 nginx 的空闲超时设为90s
  • 你遇到的“调整ELB超时后从504变502”的现象，完全匹配这个问题的特征：原配置下ELB等不到上游返回，等够自身超时时间后返回504；调长ELB超时后，nginx因为复用了被App ELB掐断的死连接，收到TCP RST错误，直接把这个错误抛给ELB，ELB就会转而返回502。
• 补全nginx到上游App ELB的keepalive连接池配置
  • 你当前的配置只开了proxy_http_version 1.1、清空了Connection头，但没有定义对应的upstream连接池，nginx默认不会主动向上游复用长连接，每次请求都新建TCP连接、完成TLS握手，一旦遇到ELB的连接回收时机错位，就会随机中断。
  • 具体补全方法：在nginx的http块下定义对应的upstream配置，替代之前在location里直接写App ELB地址的写法：

    upstream app_elb_backend {
        server <你的App ELB域名>:443;
        keepalive 32; # 常驻空闲连接数，可根据实际并发量调整
        keepalive_timeout 50s; # 严格小于App ELB的60s空闲超时
        keepalive_requests 1000; # 单连接最大处理请求数，和ELB单连接上限对齐
    }
    

  • 因为上游是HTTPS的App ELB，还需要补两个必须的代理配置，避免随机TLS握手失败：

    proxy_ssl_server_name on; # 携带正确的SNI信息，否则ELB会拒绝TLS连接
    proxy_ssl_session_reuse on; # 复用TLS会话，减少握手开销
    proxy_ssl_protocols TLSv1.2 TLSv1.3; # 和App ELB的TLS版本保持对齐
    

  • 对应location块里的proxy_pass修改为proxy_pass https://app_elb_backend;
• 移除代理路径上不必要的gzip压缩逻辑
  • 你当前配置的gzip_min_length 1000对触发故障的377字节小图标资源根本不生效，但gzip_proxied的匹配规则可能会导致nginx对小响应的处理流程出现异常：nginx作为代理角色，本身不是静态资源的源端，对上游返回的响应做临时压缩时，如果刚好遇到连接被回收，就会触发随机中断。
  • 直接在代理路径上关闭gzip，由后端Fargate上的Express服务对静态资源做预压缩返回，减少nginx的无意义处理逻辑。
• 快速定位故障节点的观测方法
  • 在nginx的日志格式里添加上游状态字段，每次故障时直接定位错误来源：

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $upstream_status $upstream_response_time $upstream_addr $upstream_connect_error';
    

  • 如果日志里502对应的$upstream_connect_error是connect() failed (104: Connection reset by peer)，就可以100%确认是上游死连接的问题。

内容的提问来源于stack exchange，提问作者DannyH