Ignite单服务节点运行多日后出现堆外内存异常求排查解决

可能诱因 #

• 缓存数据无限制增长：单节点无法分片，所有业务数据都存储在本地，若未配置数据过期/清理策略，持续写入会耗尽堆外内存（Ignite默认堆外内存为物理内存的20%）。
• 索引内存膨胀：过多二级索引、或用大字段（长字符串、二进制数据）作为索引键，会导致索引条目占用大量堆外内存，长期累积溢出。
• 网络缓冲区配置不合理：网络通信的堆外缓冲区（发送/接收）设置过大，或业务高频RPC/数据传输导致缓冲区无法及时回收，占用堆外内存。
• 持久化缓冲区溢出：开启持久化后，写缓冲区/读缓冲区配置过大、或刷盘不及时，会导致堆外内存持续攀升。
• Native资源泄漏：业务代码中使用的JNI调用、直接内存分配（如ByteBuffer.allocateDirect()）未正确释放，第三方库的Native资源未关闭，堆外内存无法回收。

对应解决方案 #

控制缓存数据规模 #

• 配置过期策略：基于时间或访问频率自动清理过期数据，示例代码：

  CacheConfiguration<Integer, MyBizData> cacheCfg = new CacheConfiguration<>("bizCache");
  // 创建后7天过期
  cacheCfg.setExpiryPolicyFactory(CreatedExpiryPolicy.factoryOf(Duration.ofDays(7)));
  

• 启用内存限制与驱逐策略：设置缓存内存上限，超出时用LRU等策略驱逐数据，示例：

  // 缓存最多保留10万条数据，超出时驱逐最久未访问的条目
  cacheCfg.setEvictionPolicyFactory(LruEvictionPolicy.factoryOf(100_000));
  cacheCfg.setMaxSize(100_000);
  

• 主动清理无用数据：定期调用Ignite缓存API删除不再需要的数据，比如批量清理历史归档数据。

优化索引配置 #

• 精简二级索引：仅保留业务查询必需的索引，删除冗余索引。
• 优化索引字段：避免用大尺寸字段作为索引键，优先使用ID、短字符串等小字段。
• 监控索引内存：通过JMX查看IgniteIndexingMXBean下的索引内存占用，定位膨胀的索引并调整。

调整网络缓冲区 #

• 降低缓冲区大小：在Ignite配置文件中调整网络发送/接收缓冲区为适配业务流量的数值（默认64KB）：

  <property name="networkSendBufferSize" value="65536"/>
  <property name="networkReceiveBufferSize" value="65536"/>
  

• 优化网络线程池：调整networkThreadPoolSize为匹配并发请求的合理值，避免线程阻塞导致缓冲区无法释放。

优化持久化配置 #

• 调整写缓冲区大小：根据磁盘IO能力设置合理的写缓冲区（默认1GB），避免占用过多堆外内存：

  <property name="dataStorageConfiguration">
      <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
          <property name="defaultDataRegionConfiguration">
              <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                  <property name="persistenceEnabled" value="true"/>
                  <property name="writeBufferSize" value="536870912"/> <!-- 512MB -->
              </bean>
          </property>
      </bean>
  </property>
  

• 启用写限流：开启writeThrottlingEnabled，当写缓冲区占用过高时自动触发刷盘，防止内存累积：

  <property name="writeThrottlingEnabled" value="true"/>
  

排查Native资源泄漏 #

• 监控堆外内存：使用jcmd <pid> VM.native_memory summary分析Native内存分配详情，或jmap -histo:live <pid>查看直接内存占用。
• 检查业务代码：确保所有直接内存对象（如ByteBuffer）被正确释放，第三方库的Native资源（如数据库连接、图像处理实例）都有显式关闭逻辑。

内容的提问来源于stack exchange，提问作者Ritvik Rohatgi