求助：Ignite五节点集群频繁出现索引损坏，节点无法重启

紧急恢复步骤 #

• 隔离损坏节点：将触发错误的节点从集群中移除，防止影响其他正常节点运行
• 清理损坏节点的持久化存储：删除该节点IgniteConfiguration.setWorkDirectory()配置目录下的db和wal文件夹（操作前务必备份原始数据）
• 重启节点：节点会自动从集群其他健康节点同步数据并重建索引

根因排查方向 #

• 硬件/存储异常：检查节点所在服务器磁盘是否存在坏道、IO读写错误，可使用smartctl工具检测；确认存储设备IO性能满足Ignite运行要求，避免高延迟导致WAL写入不完整
• WAL配置问题：核实WAL模式是否为默认的FSYNC，异步模式易引发数据不一致；确认WAL目录与数据目录是否分离，避免IO资源竞争
• 版本不一致：确保集群所有节点使用完全相同的Ignite版本，版本差异可能导致数据结构不兼容
• 节点异常关闭：排查是否存在节点强制断电、OOM被系统kill等场景，这类操作极易导致WAL未刷盘引发数据结构损坏
• 缓存配置缺陷：检查InsExamsCache的持久化策略是否正确，排查主键索引_key_PK对应的字段是否存在类型不匹配、频繁更新主键等不合理配置

长期预防措施 #

• 启用数据校验：在缓存配置中开启CacheConfiguration.setCheckpointPageBufSync(true)，确保checkpoint时校验数据完整性
• 定期数据备份：使用IgniteSnapshot.createSnapshot()命令定期创建集群快照，出现损坏时可快速恢复
• 监控核心指标：跟踪磁盘IO使用率、节点JVM内存、WAL写入速度等指标，提前发现异常隐患
• 规范节点关闭流程：使用ignite.sh stop命令正常关闭节点，禁止直接kill进程或强制断电

关联日志信息：
[23:10:36,093][SEVERE][rebalance-#553][] 检测到严重系统错误，将按照配置的处理器进行处理[hnd=StopNodeOrHaltFailureHandler [tryStop=false, timeout=0, super=AbstractFailureHandler [ignoredFailureTypes=UnmodifiableSet [SYSTEM_WORKER_BLOCKED, SYSTEM_CRITICAL_OPERATION_TIMEOUT]]], failureCtx=FailureContext [type=CRITICAL_ERROR, err=class o.a.i.i.processors.cache.persistence.tree.CorruptedTreeException: B+Tree is corrupted [groupId=1342847862, pageIds=[844420635281823], cacheId=1342847862, cacheName=InsExamsCache, indexName=_key_PK, msg=Runtime failure on row: Row@75e865f5[ key: InsExamsCacheKey [idHash=302918091, hash=525411351, order=1176621611, ID=1232911539], val: InsExamsCacheValue [idHash=1247370454, hash=-299407229]]

内容的提问来源于stack exchange，提问作者Choco