Cloudfront从S3拉取资源时偶发502 Bad Gateway错误如何解决

问题背景 #

现有AWS生产架构包含EC2、S3、Cloudfront组件，EC2生成的XML订阅源由第三方拉取，订阅源中图片链接均指向以S3为源站的Cloudfront域名。第三方拉取时偶发502 Bad Gateway错误，Cloudfront日志仅返回OriginError标识，无具体原因，已排除全量SSL故障问题。
你提供的Cloudfront错误日志样例：

ABC.2021-10-21-21.ABC:2021-10-21
21:09:47
DFW53-C1
508
ABCIP
GET
ABC.cloudfront.net
/ABC.jpg
502
-
ABCUA
-
-
Error
ABCID
ABC.cloudfront.net
https
294
4.045
-
TLSv1.2
ECDHE-RSA-AES128-GCM-SHA256
Error
HTTP/1.1
-
-
11009
4.045
OriginError
application/json
36
-
-

排查步骤 #

1. 验证S3限流猜想 #

• 进入AWS CloudWatch控制台，筛选问题时间段对应S3存储桶的ThrottledRequests、5xxErrors指标，若指标突增时间和错误发生时间完全对齐，即可确认是S3限流导致
• S3限流为前缀级别的规则：单个目录前缀默认支持每秒5500次GET请求，即使总请求量未达全局阈值，短时间内大批量拉取同前缀下的文件也会触发限流

2. 排查源站超时问题 #

• 日志中显示源站响应耗时为4.045秒，已经接近Cloudfront默认的5秒源站响应超时阈值。如果Cloudfront边缘节点到S3存储桶的跨区域链路偶发抖动、或是大体积图片传输耗时过长，都会触发超时返回502
• 可先将Cloudfront源站配置中的「响应超时」参数调整为10秒，观察后续错误率是否下降

3. 排查隐式权限错误 #

• 检查Cloudfront的源站访问身份（OAC/OAI）是否拥有S3存储桶的s3:GetObject全权限，是否配置了IP限制、请求头限制这类带条件的权限策略
• 开启S3访问日志，对齐错误时间点查看对应请求的S3原生返回码，部分隐式权限拒绝会被Cloudfront封装为502错误返回，而非标准403状态码

修复方案 #

• 临时缓解：配置Cloudfront自定义错误缓存规则，将502错误的缓存时长设置为1~5秒，避免无效请求反复回源消耗资源
• 前缀限流修复：修改图片存储路径规则，增加2~3级随机前缀打散请求，比如将/xxx.jpg调整为/f2/9d/xxx.jpg，避免单前缀请求量过高触达阈值
• 超时问题修复：如果是跨区域传输导致的超时，可将S3存储桶和Cloudfront的部署区域对齐，或是开启S3传输加速功能优化链路

内容的提问来源于stack exchange，提问作者thechrisroberts