重启后Unreachable状态的Data Node无法恢复为healthy状态问题排查

问题复现测试步骤 #

• 启动3m2d集群
• 查看Data Node节点状态
• 杀死其中一个Data Node进程
• 等待数分钟
• 再次查看Data Node节点状态，发现其中一个节点状态为Unreachable
• 启动被杀死的Data Node进程
• 等待数分钟
• 再次查看Data Node节点状态，该节点仍维持Unreachable状态，无法恢复为healthy

元数据日志信息 #

2024-02-01T10:11:58.526608000Z  INFO meta::store::storage: METADATA WRITE(ver: 1046): /cluster_xxx/data_nodes_metrics/2001 :{"id":2001,"disk_free":23970435072,"disk_total":243107192832,"time":1706782318,"status":"Unreachable"}

内容的提问来源于stack exchange，提问作者Baker X