Docker容器运行一段时间后挂起，无法执行相关命令求根因排查

我最近碰到了一个非常棘手的Docker容器问题，容器直接处于完全挂起的状态，整理下目前的观察和排查进展：

核心现象 #

• 目标容器彻底无法响应任何Docker管理命令：docker logs、docker exec、docker stop、docker rm、docker inspect、docker stats全部执行无结果或报错
• 同一宿主机上其他运行中的容器完全正常，所有上述命令都能正常执行，说明Docker daemon本身没完全挂掉
• 尝试删除该容器对应的镜像docker rmi <镜像ID>也失败，提示镜像被使用
• 唯一明确的错误来自docker logs：

  level=error msg="stream copy error: reading from a closed fifo"

环境背景 #

• 操作系统：Ubuntu 14.04.5 LTS
• 内核版本：Linux 3.13.0-141-generic
• Docker版本：17.12.0-ce

当前困境 #

我已经查了不少资料，但目前除了重启Docker服务之外，没找到其他能解决这个问题的方案。但重启Docker会牵连其他正常运行的容器，对业务有影响，所以一直在找无中断的处理方式，可惜暂时没头绪。

后续可能的排查方向（还没来得及验证） #

• 查看宿主机的内核日志（dmesg），看看有没有和容器进程相关的僵死、死锁或者内核层面的报错
• 翻Docker daemon的日志文件（一般是/var/log/docker.log），除了那个fifo错误外，有没有其他异常堆栈信息
• 用ps aux找到容器对应的宿主机进程，然后用strace跟踪一下，看看进程是不是卡在某个系统调用上了
• 检查宿主机的资源状态，比如内存、CPU、磁盘IO有没有耗尽的情况，会不会是资源不足导致进程阻塞

内容的提问来源于stack exchange，提问作者Yogesh Jilhawar