如何排查Docker Compose‘Attaching to...’步骤耗时过长问题？

我们的代码仓库通过Python subprocess调用Docker Compose，运行容器处理输入文件并生成新的输出文件。多数场景下文件处理正常，但输入文件越大，‘Attaching to...’步骤的耗时会显著增加。

已经尝试添加.dockerignore文件，但没有任何改善；且只有输入文件变大时才会变慢，所以判断这不是问题根源，目前不清楚该从何处入手排查和解决。

Python调用Docker Compose的代码 #

compose = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, shell=True)   
while True:
  line = compose.stdout.readline()
  if not line:
    break
  print(line.decode())

使用的Docker Compose命令 #

docker compose -f /path/to/install/location/service_env/lib/python3.8/site-packages/file_generator/docker-compose.yml up service_1

docker-compose.yml示例内容 #

version: '3'
services:
  service_1:
    image: some/image:latest
    environment:
      - PAYLOAD=${PAYLOAD}
      - ARGS=${DMRPP_ARGS}
    volumes:
      - ${INPUT_FILES_PATH:-/tmp}:/usr/share/

测试情况对比 #

16MB输入文件测试结果 #

$ time service -p /some/path/to/inputs/ 

Container service_1 Created
Attaching to service_1 <- 此处延迟极久，直到执行最后约1秒才结束
service_1  | ...logs...
service_1 exited with code 0

real    1m39.291s
user    0m0.261s
sys     0m0.093s

924KB输入文件测试结果 #

$ time service -p /some/path/to/inputs/ --no-validate 

Container service_1 Created
Attaching to service_1
service_1  | ...logs...
service_1 exited with code 0

real    0m3.534s
user    0m0.262s
sys     0m0.113s

排查方向与解决建议 #

• 优化卷挂载逻辑：当前使用主机目录挂载到容器，大文件场景下Docker可能在等待目录内容同步完成才进入"Attaching to"阶段。可以尝试：
  • 给挂载添加只读模式：${INPUT_FILES_PATH:-/tmp}:/usr/share/:ro，减少不必要的文件同步检查
  • 若不需要实时访问，改用docker cp提前将文件复制到容器，而非挂载目录
• 调整Docker Compose启动参数：
  • 给docker compose up加--no-build参数，跳过镜像构建检查（镜像已存在时）
  • 先后台启动容器再跟踪日志：将cmd改为docker compose -f [path] up --detach service_1 && docker logs -f service_1，容器结束后执行docker compose down，避免在"Attaching"阶段阻塞
• 检查容器初始化逻辑：容器镜像的ENTRYPOINT或CMD可能在启动前扫描挂载目录的文件，大文件会拉长扫描耗时。可以直接在主机上运行镜像的启动命令并挂载大文件，验证是否是容器内逻辑导致延迟
• 监控主机IO性能：大文件场景下磁盘IO瓶颈会放大挂载延迟，测试时用iostat或iotop监控磁盘读写，确认是否是IO问题
• 优化Python输出读取：当前逐行读取可能存在阻塞，改用communicate()或异步读取方式，排除输出缓冲区导致的感知延迟（此为表象排查项）

内容的提问来源于stack exchange，提问作者Cogito Ergo Sum