Rancher单节点集群报Node has disk pressure排查求助
Kubernetes单节点报"Node has disk pressure"排查与修复方案
第一步:先定位真正占满磁盘的位置
Kubernetes触发磁盘压力的默认逻辑是:某个挂载点的可用空间占比低于10%(即使用率超过90%)、或可用inode占比低于10%,就会给节点打上不可调度的磁盘压力污点。你已经排查过inode使用率仅20%,所以问题肯定出在实际磁盘空间的使用率上,按以下顺序排查:
- 在节点终端执行
df -h,逐行核对所有挂载点的使用率,重点检查三个Kubernetes/Docker常用的高占用目录:- 根目录
/ - 容器存储目录
/var/lib/docker、/var/lib/containerd - 系统与容器日志目录
/var/log
- 根目录
- 执行
lsblk核对虚拟磁盘的实际系统识别容量:很多新手在Proxmox给VM扩容磁盘后,没有进入Ubuntu扩展系统分区和文件系统,看起来VM已经分配了60G磁盘,但是系统层面实际还是只能用原来的20G,这是最常见的扩容无效的原因。
第二步:按实际排查到的问题对应修复
场景1:虚拟磁盘扩容后系统未识别到新增空间
如果lsblk显示总磁盘大小是60G,但对应根分区的大小只有20G、剩下的40G是未分配状态,按以下步骤扩展系统容量:
- 安装扩容工具:
apt install -y cloud-guest-utils e2fsprogs - 扩展对应磁盘的分区(比如磁盘是
/dev/sda,分区2是根分区):growpart /dev/sda 2 - 如果系统用了LVM管理(Ubuntu 20.04默认安装一般会启用LVM),执行:
- 扩展逻辑卷:
lvextend -l +100%FREE /dev/mapper/ubuntu--vg-ubuntu--lv - 扩展ext4文件系统:
resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv
- 扩展逻辑卷:
- 再次执行
df -h确认根分区的大小已经变成60G即可。
场景2:容器数据、日志堆积占满空间
如果空间已经正常识别,但是目录使用率超了90%,90%以上的概率是容器日志、残留镜像、废弃存储卷占满了空间:
- 清理无主容器资源:如果节点用Docker作为容器 runtime,执行
docker system prune -af --volumes会自动删除停掉的容器、无引用的镜像、悬空的网络和未被使用的存储卷(操作前确认没有需要本地留存的离线镜像即可);如果用的是containerd作为runtime,执行crictl rmi --prune清理无引用镜像。 - 清理无限堆积的容器日志:Docker默认配置不会对容器日志做大小限制,单跑Rancher的容器连续运行几周就能写出几十G的日志,直接在终端执行:
- 定位大于100M的容器日志:
find /var/lib/docker/containers/ -name "*-json.log" -size +100M - 清空这些大日志(不要直接删除日志文件,用截断方式避免Docker报错):
find /var/lib/docker/containers/ -name "*-json.log" -size +100M -exec truncate -s 0 {} \;
- 定位大于100M的容器日志:
- 清理完临时大文件后,修改Docker配置开启日志轮转,避免后续再次堆积:编辑
/etc/docker/daemon.json,加入以下配置后重启Docker:{ "log-driver": "json-file", "log-opts": { "max-size": "100m", "max-file": "3" } }
场景3:Kubelet残留数据占满空间
如果排查发现/var/lib/kubelet、/var/log/pods目录占用过大,直接截断7天前的旧Pod日志即可,不要手动删除正在运行的Pod对应的目录,避免影响业务:
- 清理7天前的Pod日志:
find /var/log/pods -type f -mtime +7 -exec truncate -s 0 {} \;
第三步:快速解除节点磁盘压力污点
完成空间清理后,kubelet默认每3分钟才会重新检测一次磁盘状态,等待自动恢复效率较低,可以直接手动移除节点上的磁盘压力污点:
- 执行命令:
kubectl taint nodes --all node.kubernetes.io/disk-pressure- - 等待1分钟左右再查看Rancher的集群状态,就会恢复正常。
注意:不要为了不触发磁盘压力报错,直接把kubelet的磁盘使用率阈值调到99%,这种操作会导致磁盘被彻底写满后系统崩溃、容器运行异常,保留默认的90%使用率触发阈值是合理的保护机制。
内容的提问来源于stack exchange,提问作者Lubomir Krustev
相关产品推荐
相关产品推荐

