如何排查Docker构建速度缓慢、资源占用偏低的问题
查看Docker Build过程资源占用的可落地方法
- 直接复用原有
docker stats能力实时监控
所有RUN指令的执行本质都是Docker在构建流程中启动的隔离临时容器,和日常运行的业务容器没有本质区别。你只需要:- 正常启动
docker build流程,保持终端非静默输出状态 - 另外开一个终端窗口执行
docker stats,列表中就能直接找到正在执行go install .的临时容器,实时查看它的CPU、内存、磁盘IO、网络占用数据 - 如果用新版Buildx的containerd存储驱动,找不到对应容器的话,可以把Buildx驱动临时切回默认的docker驱动,构建流程的临时容器就会直接出现在默认的docker容器列表中。
- 正常启动
- 用Buildx原生的Tty模式内嵌资源监控
不需要开第二个终端,执行构建命令的时候加上参数--progress=tty,构建界面会切换成交互式实时展示模式,当流程走到RUN go install .这一步时,界面侧边栏会实时展示当前执行步骤的容器资源利用率,随时观察CPU占用的变化。 - 加临时延迟指令留够排查窗口
如果实时监控抓不到关键节点的数据,可以临时把Dockerfile里的编译指令改成RUN sleep 90 && go install .,等构建跑到这一步时,会有90秒的时间窗口让你核查这个容器的资源状态,排查完成把临时添加的sleep指令删掉即可。
容器内
go install CPU低、构建慢的常见排查方向 - 排查构建容器的CPU配额限制
Docker守护进程和Buildx的构建容器默认会继承全局的资源限制,哪怕宿主机有几十颗物理核心,构建容器可能只被分配了1-2核的可用算力。你可以在执行build的时候显式给构建进程分配足够的CPU配额,比如通过Buildx配置项给构建容器设置4核以上的算力上限,直接排除配额限制的问题。 - 手动校准Go编译的并发参数
Go运行时会默认按照当前容器识别到的CPU核心数设置编译并行度,容器环境下经常出现CPU拓扑识别不准的问题——比如容器实际分配了4核算力,但Go运行时只识别到1核,自然只开1个编译线程跑。可以在执行go install的时候通过环境变量显式设置GOMAXPROCS值,比如RUN GOMAXPROCS=8 go install .,强制Go用指定的并行度调度编译任务,很多时候能直接把编译速度拉上来。 - 排查是否被IO/网络瓶颈拖住
很多时候CPU占用低根本不是算力不够,而是CPU一直在等IO或者网络:- 如果挂载了宿主机磁盘卷做编译缓存,磁盘IO延迟高、带宽打满的时候,CPU会全程处于等待磁盘读写的状态,算出来的CPU利用率自然很低,这时候看
docker stats的磁盘IO数据就能直接确认,这类问题占同类场景的六成以上 - 如果构建过程需要从公网拉取Go依赖,网络延迟高、带宽不足的时候,模块拉取线程会一直处于阻塞状态,编译进程根本没法并行跑编译任务,也会出现CPU闲置、整体耗时变长的情况,这时候提前把Go模块缓存预下载、挂载到构建流程里就能解决。
- 如果挂载了宿主机磁盘卷做编译缓存,磁盘IO延迟高、带宽打满的时候,CPU会全程处于等待磁盘读写的状态,算出来的CPU利用率自然很低,这时候看
内容的提问来源于stack exchange,提问作者nvcnvn
相关产品推荐
相关产品推荐

