为什么Ignite Connector重连亲和节点时会抛出IgniteCheckedException

报错根因分析 #

你遇到的报错逻辑链非常明确：Ignite服务端重启后集群拓扑发生变化，连接器侧持有的旧DataStreamer没有感知到拓扑更新直接被关闭，同时旧拓扑的亲和分配信息已经失效，无法找到对应分区276的主节点，最终先抛出Failed to get affinity nodes异常，连带触发Data streamer has been closed错误，任务直接被标记为不可恢复。

排查修复步骤 #

• 首先确认Ignite集群状态：你已经开启了持久化，Ignite集群重启后默认处于INACTIVE状态，所有缓存操作都会被拒绝，这是亲和节点查询失败的最常见原因。你可以通过Ignite控制脚本执行control.sh --state查看集群状态，如果返回INACTIVE，执行control.sh --set-state ACTIVE激活集群即可。
• 调整缓存配置：你当前的myCache没有配置备份数，默认值为0，单节点重启后对应分区的数据完全不可用，会直接触发亲和节点查询失败。建议在CacheConfiguration中添加<property name="backups" value="1"/>，配置1份副本，保障单节点故障时分区还有可用副本。
• 调整连接器配置：
  1. 给Ignite厚客户端配置添加<property name="failureDetectionTimeout" value="30000"/>和<property name="rebalanceTimeout" value="60000"/>，避免K8s环境网络波动导致误判节点下线。
  2. 给Kafka Connect任务配置重试策略：添加errors.retry.timeout=60000、errors.retry.delay.max.ms=1000参数，允许任务在遇到临时错误时自动重试。
  3. 若修复后仍报错，直接重启Kafka连接器任务，重置客户端持有的拓扑信息和DataStreamer即可恢复。

附加问题解答 #

1. 内存占满导致Ignite Pod重启是否会触发该错误？
   会。OOM触发Pod强制kill时，Ignite节点没有正常执行下线流程，集群会直接标记该节点为故障下线，旧拓扑亲和分配直接失效，连接器用旧拓扑写入时就会触发和当前完全一致的报错。
2. 是否可以修改配置将数据写入持久化存储而非内存？
   你当前的配置已经开启了持久化，persistenceEnabled已经设为true。Ignite采用内存+磁盘分层存储架构，所有数据都会持久化落盘，内存仅保留热点数据，无需额外调整。如果要降低内存占用，可以在DataRegionConfiguration中添加<property name="maxSize" value="你需要的内存大小，比如4G"/>，超出阈值的冷数据会自动置换到磁盘。
3. 内存不足引发重启的最优解决方案：

• 合理配置资源：根据数据总量设置DataRegion的maxSize，建议至少保留总数据量20%的内存作为热点区域，同时给Ignite Pod配置足够的内存limit，预留30%以上的内存缓冲避免OOM。
• 降配写入压力：给DataStreamer配置perNodeBufferSize和perNodeParallelOperations参数，降低单节点的写入缓存和并发写入数，避免写入峰值导致内存突增。
• 配置弹性扩缩容：基于K8s HPA配置CPU、内存使用率的自动扩缩容策略，节点压力过高时自动扩容分摊负载。
• 配置监控预警：开启Ignite的指标日志输出，定期采集内存、分区状态指标，提前预警内存不足风险。

内容的提问来源于stack exchange，提问作者CoderClown