You need to enable JavaScript to run this app. Rancher单节点集群报Node has disk pressure排查求助
优惠活动
大模型
产品
解决方案
定价
更多

Rancher单节点集群报Node has disk pressure排查求助

Kubernetes单节点报"Node has disk pressure"排查与修复方案

第一步:先定位真正占满磁盘的位置

Kubernetes触发磁盘压力的默认逻辑是:某个挂载点的可用空间占比低于10%(即使用率超过90%)、或可用inode占比低于10%,就会给节点打上不可调度的磁盘压力污点。你已经排查过inode使用率仅20%,所以问题肯定出在实际磁盘空间的使用率上,按以下顺序排查:

  • 在节点终端执行df -h,逐行核对所有挂载点的使用率,重点检查三个Kubernetes/Docker常用的高占用目录:
    • 根目录/
    • 容器存储目录/var/lib/docker、/var/lib/containerd
    • 系统与容器日志目录/var/log
  • 执行lsblk核对虚拟磁盘的实际系统识别容量:很多新手在Proxmox给VM扩容磁盘后,没有进入Ubuntu扩展系统分区和文件系统,看起来VM已经分配了60G磁盘,但是系统层面实际还是只能用原来的20G,这是最常见的扩容无效的原因。

第二步:按实际排查到的问题对应修复

场景1:虚拟磁盘扩容后系统未识别到新增空间

如果lsblk显示总磁盘大小是60G,但对应根分区的大小只有20G、剩下的40G是未分配状态,按以下步骤扩展系统容量:

  • 安装扩容工具:apt install -y cloud-guest-utils e2fsprogs
  • 扩展对应磁盘的分区(比如磁盘是/dev/sda,分区2是根分区):growpart /dev/sda 2
  • 如果系统用了LVM管理(Ubuntu 20.04默认安装一般会启用LVM),执行:
    • 扩展逻辑卷:lvextend -l +100%FREE /dev/mapper/ubuntu--vg-ubuntu--lv
    • 扩展ext4文件系统:resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv
  • 再次执行df -h确认根分区的大小已经变成60G即可。

场景2:容器数据、日志堆积占满空间

如果空间已经正常识别,但是目录使用率超了90%,90%以上的概率是容器日志、残留镜像、废弃存储卷占满了空间:

  • 清理无主容器资源:如果节点用Docker作为容器 runtime,执行docker system prune -af --volumes会自动删除停掉的容器、无引用的镜像、悬空的网络和未被使用的存储卷(操作前确认没有需要本地留存的离线镜像即可);如果用的是containerd作为runtime,执行crictl rmi --prune清理无引用镜像。
  • 清理无限堆积的容器日志:Docker默认配置不会对容器日志做大小限制,单跑Rancher的容器连续运行几周就能写出几十G的日志,直接在终端执行:
    • 定位大于100M的容器日志:find /var/lib/docker/containers/ -name "*-json.log" -size +100M
    • 清空这些大日志(不要直接删除日志文件,用截断方式避免Docker报错):find /var/lib/docker/containers/ -name "*-json.log" -size +100M -exec truncate -s 0 {} \;
  • 清理完临时大文件后,修改Docker配置开启日志轮转,避免后续再次堆积:编辑/etc/docker/daemon.json,加入以下配置后重启Docker:
    {
      "log-driver": "json-file",
      "log-opts": {
        "max-size": "100m",
        "max-file": "3"
      }
    }
    

场景3:Kubelet残留数据占满空间

如果排查发现/var/lib/kubelet、/var/log/pods目录占用过大,直接截断7天前的旧Pod日志即可,不要手动删除正在运行的Pod对应的目录,避免影响业务:

  • 清理7天前的Pod日志:find /var/log/pods -type f -mtime +7 -exec truncate -s 0 {} \;

第三步:快速解除节点磁盘压力污点

完成空间清理后,kubelet默认每3分钟才会重新检测一次磁盘状态,等待自动恢复效率较低,可以直接手动移除节点上的磁盘压力污点:

  • 执行命令:kubectl taint nodes --all node.kubernetes.io/disk-pressure-
  • 等待1分钟左右再查看Rancher的集群状态,就会恢复正常。

注意:不要为了不触发磁盘压力报错,直接把kubelet的磁盘使用率阈值调到99%,这种操作会导致磁盘被彻底写满后系统崩溃、容器运行异常,保留默认的90%使用率触发阈值是合理的保护机制。


内容的提问来源于stack exchange,提问作者Lubomir Krustev

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 01:45:01