升级ClickHouse至v23.8.2.7后频繁出现No active replica has part错误如何解决？

1. 校验副本间ZooKeeper元数据一致性 #

• 登录ZooKeeper节点，查看对应表的元数据路径（通常为/clickhouse/tables/{shard}/{table}/replicas/{replica}/parts），对比各副本的part列表是否存在差异
• 在ClickHouse客户端执行命令强制同步副本元数据：

  ALTER TABLE your_table_name ON CLUSTER your_cluster_name SYNC REPLICA;
  

• 查询system.zookeeper表的session_id和state字段，确保所有副本的ZooKeeper会话处于活跃状态，避免因会话超时导致元数据不同步

2. 调整合并策略与副本同步参数 #

• 修改表级合并配置，减少小part频繁合并引发的元数据不一致：
  在表定义的SETTINGS段添加或调整：

  SETTINGS
    min_bytes_for_wide_part = 1073741824, -- 设定1GB阈值，减少小part生成
    merge_max_block_size = 1048576,
    merge_with_ttl_timeout = 3600 -- 延长TTL合并间隔至1小时
  

• 在config.xml或集群配置文件中调整副本同步超时参数：

  <remote_fs_replication_timeout>300</remote_fs_replication_timeout> -- 延长同步超时至5分钟
  <replication_queue_max_wait_ms>60000</replication_queue_max_wait_ms> -- 队列等待时间设为1分钟
  

3. 排查磁盘IO与副本间网络状态 #

• 用iostat -x 1命令检查各副本节点的磁盘IO负载，确保%util指标长期低于80%，避免磁盘繁忙导致part写入延迟
• 执行ping和iperf3测试副本间的网络连通性与带宽，确保跨副本网络延迟稳定在10ms以内、带宽满足同步需求
• 查看dmesg日志或执行离线fsck检查，排除磁盘坏块、文件系统错误等硬件层面问题

4. 修复无效part与异常元数据 #

• 停止目标副本节点，删除/var/lib/clickhouse/data/{database}/{table}/detached目录下的无效文件后重启节点，清理残留的废弃part元数据
• 执行表完整性校验命令：

  CHECK TABLE your_table_name ON CLUSTER your_cluster_name;
  

• 若发现损坏part，从健康副本强制同步：

  ALTER TABLE your_table_name ON CLUSTER your_cluster_name FETCH PART 'target_part_name' FROM 'healthy_replica_path';
  

5. 升级ClickHouse版本 #

v23.8.2.7存在副本同步、part合并逻辑相关的已知bug，官方在后续补丁版本（如v23.8.15.27）及更高稳定分支（如v24.3）中已修复此类问题，建议升级至对应版本彻底解决根源问题

内容的提问来源于stack exchange，提问作者Chirag Bansal