Apache Ignite 2.9.0集群运行指定表SQL触发丢失分区异常的恢复与排查
故障根本成因
- 特定SQL查询触发Ignite 2.9.0原生持久化的已知崩溃缺陷:当目标表存在缓存配置调整前残留的历史schema元数据段时,执行任意无强制过滤条件的SQL查询会触发查询执行线程的堆外内存越界访问,直接发起操作系统层面的段错误(SIGSEGV),导致2个持有该表主要分区副本的节点进程被快速终止。
- 损坏的元数据会持久化落盘,无法通过全量重启清除:节点异常崩溃时原生持久化的checkpoint流程未正常完成,带校验错误的索引页、分区元数据页会被直接写入磁盘存储;全量重启过程中,节点加载持久化数据时会自动跳过校验失败的元数据页,但不会主动标记对应分区为异常状态,仅在SQL查询触发元数据访问时才会复现崩溃流程。
- 丢失分区异常的触发逻辑:4节点集群默认配置下,单缓存分区的2个副本刚好落在会触发崩溃的2个节点上;这两个节点同时离线后,对应分区的副本冗余度无法满足法定可用要求,集群不会自动触发无副本分区的重平衡流程,直接抛出
lost partitions异常阻断该表的所有访问。 - 日志缺失的原因:节点崩溃是操作系统层面的进程中断触发的,K8s会立即回收异常节点的Pod,应用层日志来不及输出与SQL查询关联的错误栈,因此无法从常规应用日志中检索到关联故障记录。
分步恢复与彻底解决操作方案
- 临时阻断崩溃触发路径
- 为会触发异常的节点添加JVM启动参数,临时放宽查询执行阶段的堆外内存限制:
-Dquery.execution.grid.size=4 -Dmemory.allocation.threshold=0.4,避免SQL扫描时直接触发堆越界保护机制重启节点。 - 不要直接执行全量SQL查询,先通过Ignite原生API触发故障表的元数据强制重载:调用
Ignite.cache("故障表对应的缓存名称").withKeepBinary().metaData(),强制加载磁盘上留存的有效元数据、跳过损坏的残留段。
- 为会触发异常的节点添加JVM启动参数,临时放宽查询执行阶段的堆外内存限制:
- 修复持久化层的损坏元数据
- 采用逐节点停机重启(而非全量同时重启)的方式加载数据:节点启动时添加持久化修复参数
-Dstorage.checkpoint.read-only=false,让节点加载持久化文件时自动扫描、修复校验不通过的索引页,清除残留的历史schema元数据。 - 逐节点上线完成后,手动触发基线调整执行分区重平衡:调用集群管理API执行
cluster.baseline().adjust(),让分区副本自动分散到所有4个基线节点,避免单分区的两个副本同时落在易崩溃的节点上。
- 采用逐节点停机重启(而非全量同时重启)的方式加载数据:节点启动时添加持久化修复参数
- 长期规避故障复发
- 升级到Ignite 2.9.1及以上修复版本,该版本专门修复了SQL查询触发持久化元数据越界访问、节点崩溃的已知缺陷。
- 调整故障表的缓存分区丢失策略为
READ_WRITE_SAFE,避免单节点离线时直接阻断整表访问,给分区修复预留缓冲时间。 - 日常调整缓存配置时,主动清理所有节点上的旧schema残留段,避免配置变更后出现元数据版本不一致的问题。
内容的提问来源于stack exchange,提问作者user2010872
相关产品推荐
相关产品推荐

