Kafka集群所有节点sdb磁盘EXT4文件系统持续报错问题咨询

看起来你碰到了3节点Kafka集群里，所有节点的sdb磁盘（VMDK格式）EXT4文件系统持续报错误的问题，先帮你理清楚日志里的关键信息，再给你一套排查和解决的思路：

你提供的内核错误日志（格式化后） #

[1123783.849575] EXT4-fs (sdb): error count since last fsck: 9
[1123783.849582] EXT4-fs (sdb): initial error at time 1595958527: ext4_writepages:2414
[1123783.849586] EXT4-fs (sdb): last error at time 1613639279: ext4_put_super:791
[1210205.709917] EXT4-fs (sdb): error count since last fsck: 9
[1210205.709937] EXT4-fs (sdb): initial error at time 1595958527: ext4_writepages:2414
[1210205.709944] EXT4-fs (sdb): last error at time 1613639279: ext4_put_super:791
[1296627.570121] EXT4-fs (sdb): error count since last fsck: 9
[1296627.570141] EXT4-fs (sdb): initial error at time 1595958527: ext4_writepages:2414
[1296627.570147] EXT4-fs (sdb): last error at time 1613639279: ext4_put_super:791
[1383049.419003] EXT4-fs (sdb): error count since last fsck: 9
[1383049.419019] EXT4-fs (sdb): initial error at time 1595958527: ext4_writepages:2414
[1383049.419025] EXT4-fs (sdb): last error at time 1613639279: ext4_put_super:791

日志关键信息解读 #

从日志能看出几个核心点：

1. 集群共性问题：所有节点的错误模式100%一致，错误计数、时间戳完全相同，说明这不是单节点磁盘故障，大概率和虚拟化存储层的共性问题有关
2. 无新增错误：每次上报的错误计数都是9，没有增长，说明自从上次执行fsck后，没有新的错误产生，只是系统在周期性重复上报历史错误统计
3. 错误根源分析：
   • ext4_writepages:2414：EXT4向磁盘写入缓存页时触发的错误，通常和磁盘I/O超时、存储链路故障、缓存数据写入失败有关
   • ext4_put_super:791：卸载文件系统时的校验错误，是之前的写错误导致文件系统元数据不一致，卸载时触发的连锁反应

排查与解决步骤 #

按优先级给你列实操方向：

• 第一步：确认错误是否为历史遗留
  用人类可读时间戳查看最新日志，确认问题是否持续：

  dmesg -T | grep EXT4-fs
  

  如果只有旧错误的重复上报，先处理历史问题即可；如果有新错误产生，说明存储层故障还在持续。

• 第二步：检查虚拟化存储层状态
  直接找虚拟化管理员确认：

  • 宿主机上对应的VMDK文件有没有损坏、存储池（比如VMware Datastore）有没有I/O告警
  • 宿主机的物理磁盘、存储链路（SAN/NAS）是否有故障记录
  • 近期有没有对VMDK做过快照、克隆等操作，操作过程是否异常

• 第三步：修复文件系统错误（务必谨慎）
  错误根源是EXT4元数据不一致，需要用fsck修复，但要注意前置操作：

  1. 先停止Kafka服务，umount /dev/sdb（无法umount就进入单用户模式操作）
  2. 修复前务必备份Kafka的日志数据（比如把整个数据目录复制到其他安全存储）
  3. 执行修复命令：

     fsck.ext4 -v /dev/sdb
     

     命令会自动检测并修复元数据错误，完成后重新挂载磁盘、启动Kafka服务。

• 第四步：验证Kafka集群状态
  修复后做完整性验证：

  • 查看Kafka的server.log，确认无I/O相关报错
  • 用Kafka命令行工具检查分区状态：

    kafka-topics.sh --describe --bootstrap-server <节点IP>:9092
    

    确保没有分区离线、ISR不一致的情况
  • 做小规模消息生产消费测试，验证数据读写正常

• 第五步：优化挂载参数（可选）
  编辑/etc/fstab，给sdb的挂载项加上适配虚拟化环境的参数，减少I/O阻塞风险：

  /dev/sdb /kafka-data ext4 defaults,barrier=0,errors=remount-ro 0 2
  

  其中barrier=0适配VMware VMDK的缓存模式，errors=remount-ro会在出错时自动只读挂载，避免数据进一步损坏

备注：内容来源于stack exchange，提问作者King David