Docker run命令启动容器耗时20-30分钟异常排查

问题现象 #

执行docker run启动自定义镜像容器时，整体启动耗时达到20~30分钟，远高于同类型容器正常启动速度。

复现所用配置与操作 #

Dockerfile内容 #

FROM ubuntu
RUN apt-get update && apt-get install -y curl \
                                                python3-docker \
                                                wget \
                                                nginx
EXPOSE 80
CMD ["nginx", "-g", "daemon off;"]

镜像构建命令 #

docker build -t ubuntunginx .

容器启动命令 #

docker run -it -p 80:80 ubuntunginx

常见根因与对应解决方法 #

• 存储驱动配置错误
  执行docker info | grep "Storage Driver"查看当前使用的存储驱动，如果返回结果是devicemapper且为loop-lvm模式，会存在严重的IO性能缺陷，是导致启动慢的最常见原因。直接修改/etc/docker/daemon.json文件，添加配置项"storage-driver": "overlay2"，保存后执行systemctl restart docker重启Docker服务即可修复，注意切换存储驱动后原有镜像和容器需要重新导入/构建。
• 宿主机资源瓶颈
  执行iostat -x 1、free -h、top三个命令分别检查磁盘IO、内存、CPU占用：如果磁盘%util长期跑满100%、剩余内存不足触发频繁swap交换，都会直接拖慢容器镜像层解压、进程初始化的速度，停掉占用资源的异常进程即可恢复。
• Docker网络初始化超时
  当Docker网桥存在iptables规则冲突、配置的DNS服务器不可达时，容器网络初始化阶段会长时间等待超时。可以先执行docker network prune清理无用的冗余网络，再在/etc/docker/daemon.json中添加可用DNS配置，比如"dns": ["114.114.114.114", "223.5.5.5"]，重启Docker后重试启动。
• 镜像体积过大
  当前Dockerfile执行apt安装后没有清理缓存文件，会导致镜像额外增加数百MB的无用体积，在低速机械盘上解压大镜像层的耗时会明显变长。可以把RUN指令优化为如下形式，重新构建镜像缩小体积：

  RUN apt-get update && apt-get install -y --no-install-recommends curl python3-docker wget nginx \
      && apt-get clean \
      && rm -rf /var/lib/apt/lists/*
  

• 安全软件拦截
  宿主机上安装的第三方杀毒、主机入侵检测类软件，会对容器启动过程中的所有文件读写、系统调用做实时扫描，很容易把启动速度拖慢几十倍，临时退出这类安全软件后再测试启动速度即可确认问题。

内容的提问来源于stack exchange，提问作者Vinay Gowda