Ignite集群基线调整后连续查询数据丢失问题咨询

问题现象 #

• 集群配置：启用持久化、分区模式缓存、备份；通过K8s StatefulSet扩容节点，使用TcpDiscoveryKubernetesIpFinder完成节点发现，手动将新Pod加入集群基线。
• 异常表现：扩容后，连接集群的瘦客户端上的Continuous Query开始丢失部分数据，新节点上的分区数据变更完全无法被捕获；测试显示每5分钟写入的10000条记录，客户端接收数量远不足总数，仅在重启客户端并重新启动Continuous Query后，计数才恢复正常。

已知原因 #

这是Ignite瘦客户端的一个已知行为：瘦客户端的Continuous Query订阅基于初始连接时的集群拓扑节点建立，集群扩容新增节点后，分区会重新分布到新节点，但已有客户端的订阅不会自动扩展到新节点，导致新节点上的数据变更无法被推送至客户端。

解决方法 #

1. 客户端订阅重建：在集群扩容完成并稳定后，手动重启客户端的Continuous Query实例，或在客户端代码中实现拓扑变化感知逻辑：
   • 通过ClusterTopologyListener监听集群节点变更事件，当检测到节点加入/移除时，销毁现有Continuous Query并重新创建订阅。
2. 优化发现配置：确保客户端的TcpDiscoveryKubernetesIpFinder配置正确，能够实时感知K8s集群中的节点变化，避免客户端无法发现新节点。
3. 服务端分区平衡：扩容后等待集群完成分区重新平衡（可通过Ignite控制台或ignitevisorcmd.sh查看分区状态），再触发客户端订阅重建，确保分区分布稳定后再重新订阅。

数据存储配置 #

<property name="dataStorageConfiguration">
    <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
        <property name="walPath" value="/ignite/wal"/>
        <property name="walArchivePath" value="/ignite/walarchive"/>
        <property name="maxWalArchiveSize" value="12gb"/>
        <property name="metricsEnabled" value="true"/>
        <property name="walSegmentSize" value="128mb"/>

        <property name="defaultDataRegionConfiguration">
            <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                <!-- enable mertrics for the default data region -->
                <property name="metricsEnabled" value="true"/>
                <property name="persistenceEnabled" value="true"/>
                <property name="name" value="Default_Region"/>
                <property name="maxSize" value="8gb"/>

            </bean>
        </property>
    </bean>
</property>

内容的提问来源于stack exchange，提问作者user3015941