Gluster分散卷替换丢失brick失败问题求助

看起来你遇到了Gluster分散卷替换丢失brick的棘手问题，我来帮你分析下可能的原因和解决思路：

首先回顾下你的场景：你搭建了4+2的分散卷，两台主机烧毁导致对应的brick丢失，虽然卷还能正常运行，但执行替换命令时却报错说原brick不存在于卷中。这种情况大概率是因为Gluster集群已经将离线的brick标记为异常状态，甚至从有效配置中移除了，导致replace-brick命令找不到它。

下面是一步步的解决建议：

一、先做好新节点和新brick的准备工作 #

1. 确认新节点192.168.130.6已经加入Gluster集群
   执行命令检查peer状态：

   gluster peer status
   

   如果该节点还未加入，先执行探针命令：

   gluster peer probe 192.168.130.6
   

2. 在新节点上创建brick目录并设置正确权限
   确保目录存在且Gluster服务用户可读写：

   mkdir -p /glusterPool/disperseVol
   chown glusterfs:glusterfs /glusterPool/disperseVol
   

二、处理丢失的旧brick状态 #

1. 查看卷的详细状态，确认丢失brick的状态
   执行命令获取所有brick的运行状态：

   gluster volume status disperseVol detail
   

   重点看192.168.130.4对应的brick状态，应该是Offline或其他异常状态。

2. 重置丢失brick的集群状态
   由于主机已经彻底离线，Gluster可能已经将该brick从卷的有效配置中移除，我们需要强制重置它的状态：

   gluster volume reset-brick disperseVol 192.168.130.4:/mnt/gluster/disperseVol force
   

   这个命令会让集群重新将该brick纳入卷的配置列表（即使它是不可用状态）。

三、重新执行brick替换操作 #

1. 先执行预检查（不加commit）
   先启动替换的预同步过程，看看是否能正常识别原brick：

   gluster volume replace-brick disperseVol 192.168.130.4:/mnt/gluster/disperseVol 192.168.130.6:/glusterPool/disperseVol start
   

   如果预检查通过，等待同步完成后执行commit：

   gluster volume replace-brick disperseVol 192.168.130.4:/mnt/gluster/disperseVol 192.168.130.6:/glusterPool/disperseVol commit
   

2. 如果预检查仍失败，尝试强制提交
   直接执行带force参数的替换命令：

   gluster volume replace-brick disperseVol 192.168.130.4:/mnt/gluster/disperseVol 192.168.130.6:/glusterPool/disperseVol commit force
   

四、后续验证 #

替换完成后，执行以下命令确保数据同步完成，卷状态正常：

gluster volume heal disperseVol full
gluster volume status disperseVol
gluster volume info disperseVol

如果以上步骤仍无法解决，建议查看Gluster的详细日志（比如/var/log/glusterfs/disperseVol.log），看看有没有元数据不一致或其他底层错误的线索。

备注：内容来源于stack exchange，提问作者Thomas P