Kafka KRaft 3.5集群metadata-shell无法正常查看元数据求助

问题场景 #

在3台RHEL虚拟机搭建的Kafka KRaft 3.5测试集群中，集群核心功能正常：所有broker、controller均处于运行状态，可正常创建、查看主题。但使用kafka-metadata-shell.sh访问元数据时，99%的尝试失败；偶尔能进入shell，但输出不符合官方文档预期，执行命令时抛出java.nio.channels.NonWritableChannelException异常。已核对Kafka 3.5.1版本bug修复列表，未发现相关记录，现附上集群配置路径、命令日志、集群状态、元数据目录权限等信息，需定位问题根源。

可能原因与排查步骤 #

1. 元数据目录权限与文件锁冲突 #

KRaft模式下，controller节点的metadata.dir目录及文件需保证Kafka运行用户的独占读写权限，且Kafka会对元数据文件加锁。若权限不一致或存在进程占用锁资源，会导致元数据shell无法正常访问。

• 检查所有controller节点metadata.dir的属主/属组是否为Kafka运行用户，目录权限设为700，文件权限设为600。
• 用lsof <metadata-dir-path>排查是否有残留的Kafka进程（如僵尸controller）占用元数据文件，若有则强制终止后重试。

2. 元数据快照读取逻辑异常 #

3.5基础版本可能存在未被记录的元数据shell解析快照的隐性bug，导致交互异常。

• 在单台controller本地执行kafka-metadata-shell.sh --bootstrap-server localhost:9093，测试本地访问是否稳定。
• 手动生成元数据快照：kafka-storage.sh snapshot --cluster-id <集群ID> --metadata-dir <元数据目录>，生成后再尝试进入shell。

3. 网络端口双向访问限制 #

kafka-metadata-shell.sh需与controller的元数据端口（默认9093）建立双向通信，若RHEL的防火墙、SELinux限制了端口双向流量，会导致连接不稳定或通道异常。

• 用nc -zv <controller-IP> 9093测试端口连通性，确认无丢包或连接中断。
• 临时关闭SELinux（setenforce 0）和防火墙（systemctl stop firewalld）后重试，若问题解决则需配置对应端口的放行规则。

4. JVM参数或依赖冲突 #

不合理的JVM参数（如内存不足）或第三方Jar包混入Kafka依赖目录，可能导致元数据shell的网络通道读写异常。

• 检查kafka-metadata-shell.sh中的KAFKA_HEAP_OPTS参数，确保分配至少512M堆内存（如export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"）。
• 确认Kafka安装目录下libs文件夹未添加第三方Jar包，保持依赖纯净。

内容的提问来源于stack exchange，提问作者Judy