Docker拉取ECR公共镜像报toomanyrequests:Rate exceeded问题咨询

问题现象 #

• 高频运行的CI流水线中通过ECR Public Gallery拉取镜像时间歇性触发报错，异常仅在使用docker工具时出现，换用podman拉取相同镜像从未触发配额限制类报错。
• 直接执行docker pull的报错示例：

# docker pull public.ecr.aws/docker/library/alpine:latest
latest: Pulling from docker/library/alpine
toomanyrequests: Rate exceeded

• 部分场景下报错会在拉取流程临近结束时才触发，docker-compose pull报错示例：

# docker-compose pull
Pulling nginx   ... 

Pulling haproxy ... 


Pulling haproxy ... pulling from docker/library/haproxy

Pulling nginx   ... pulling from docker/library/nginx

Pulling nginx   ... pulling fs layer

Pulling nginx   ... pulling fs layer

Pulling nginx   ... pulling fs layer

Pulling nginx   ... pulling fs layer

Pulling nginx   ... pulling fs layer

Pulling nginx   ... pulling fs layer

Pulling nginx   ... waiting

Pulling nginx   ... waiting

Pulling nginx   ... waiting

Pulling nginx   ... downloading (100.0%)

Pulling nginx   ... verifying checksum

Pulling nginx   ... download complete

Pulling nginx   ... downloading (1.0%)

Pulling nginx   ... downloading (1.0%)

...

Pulling nginx   ... extracting (94.1%)

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... pull complete

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... pull complete

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... pull complete

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... pull complete

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... extracting (100.0%)

Pulling nginx   ... pull complete

Pulling nginx   ... digest: sha256:2bcabc23b45489fb08...

Pulling nginx   ... status: downloaded newer image fo...

Pulling nginx   ... done

ERROR: for haproxy  toomanyrequests: Rate exceeded
ERROR: toomanyrequests: Rate exceeded

排查过程 #

• 自有AWS账号下创建公共镜像仓库，将业务所需全部镜像推送至自有仓库后执行拉取命令docker pull public.ecr.aws/<my_repo_id>/alpine:latest，仍然出现相同限流报错。
• 进入AWS服务配额管理页面查看ECR Public相关配额，发现Rate of unauthenticated image pulls配额值为1，且标注为Not adjustable（不可调整），该规则与AWS官方公开的ECR Public服务配额说明一致。

核心疑问 #

• 配额值1的具体含义是什么？是否代表每秒允许1次镜像拉取请求？
• 为何该限流规则仅在使用docker拉取时生效，使用podman拉取时不会触发？
• 通过什么方式可以调整该拉取配额？

问题解答 #

1. 配额值1的含义 #

别误解，这个1不是指每秒允许拉1次完整镜像，它的统计口径是每个未认证请求的源公网IP，每秒仅允许发起1次镜像清单（manifest）请求。
这个限流只统计manifest类的API请求，拉取镜像层（blob）的请求走S3存储地址，不计入这个配额。这也解释了为什么有时候拉取到90%多快结束才报错：前面下载镜像层的过程都不触发限流，等最后拉取其他镜像的manifest、或者校验镜像签名需要再次请求manifest时，并发请求数超过阈值才会返回toomanyrequests。
另外单次docker拉取多架构镜像时，会先拉多架构清单列表、再拉对应架构的子manifest，一次pull就会产生2次计数；docker-compose并发拉多个镜像时，瞬间发的manifest请求数很容易直接超过1的阈值。

2. docker触发限流但podman不触发的原因 #

核心是两个工具的默认鉴权逻辑、请求并发策略完全不同：

• docker默认拉取public.ecr.aws域名的镜像时，不会主动携带鉴权信息，所有请求都按最低配额的未认证流量统计。同时旧版本docker、docker-compose拉取镜像时会并发发起多轮manifest请求，包括自动重试、多架构适配的额外请求，短时间内的请求量很容易打满1次/秒的阈值。
• podman默认访问ECR Public时，会先自动申请匿名授权令牌，携带令牌的请求会归为认证类流量，认证流量的默认配额远高于未认证流量；加上podman对manifest请求做了串行化控制，不会短时间内并发打大量重复请求，自然不会触发这个限流。

3. 拉取配额调整方式 #

标注为不可调整的未认证拉取配额是ECR Public的全局硬限制，没有直接修改的入口，要解决问题可以用下面几个经过验证的方案：

• 拉取前先给docker完成ECR Public鉴权：执行命令aws ecr-public get-login-password --region us-east-1 | docker login --username AWS --password-stdin public.ecr.aws，登录后所有拉取请求会走认证流量配额，单账号默认配额是每秒10次请求，这个配额可以通过支持工单申请提升。
• 不要用自己账号下的ECR Public仓库存业务镜像，把需要的镜像同步到同账号的私有ECR仓库，私有ECR的拉取配额远高于ECR Public，且不会按公网IP做限流，同AWS VPC内拉取还能走内网链路，速度更快也不会产生公网流量费。
• CI流水线侧增加镜像缓存层：要么配置Runner的本地镜像缓存，避免每次任务都从远端拉取镜像；要么搭建内网镜像代理仓库，缓存常用的ECR Public镜像，所有CI任务从内网代理拉取，从根源减少向ECR Public发起的请求数。

内容的提问来源于stack exchange，提问作者hosselausso