配置Ignite Persistence如何避免缓存占满全部机器RAM

对你现有理解的正误判断 #

你的理解存在几处核心误区，和Ignite实际运行逻辑不符：

• 首先你混淆了initialSize和maxSize两个配置的作用：你贴的两段配置都只设置了initialSize，没有设置内存上限参数maxSize。initialSize是Ignite启动时为对应数据区域预分配的初始堆外内存大小，不是该区域的内存使用上限。
• “Ignite优先占满机器可用内存，之后磁盘存储的数据量才会超过内存”的认知完全错误：开启Ignite Persistence后，磁盘是数据的主存储副本，内存本质是缓存热数据的页缓存，和操作系统页缓存逻辑类似。后台checkpoint线程会持续将内存中的脏页刷写到磁盘，和内存是否占满没有关系；当内存占用达到区域上限时，会自动触发LRU冷页淘汰，把长期未访问的页从内存中清除，需要时再从磁盘读取。也就是说，从集群启动开始，磁盘上存储的数据集大小就可以远大于内存容量，不需要等内存占满。
• 你提到的两个场景的实际运行逻辑和你推测的不一致：
  • 128G机器配置100GinitialSize时，Ignite启动会直接预分配100G堆外内存，但因为你没设maxSize，内存占用不会停在100G，会继续扩容到当前模式下的默认maxSize阈值。
  • 128G机器配置300GinitialSize时，Ignite启动时会直接尝试申请300G连续堆外内存，申请失败会直接抛出异常导致节点启动失败，根本不会进入运行阶段。另外你提到的“默认占机器总内存80%”的规则，是未开启持久化时默认数据区域的maxSize配置；开启持久化后，默认数据区域的maxSize只有物理总内存的20%，本来就不会占用绝大多数内存。

限制Ignite RAM占用的可行配置方案 #

完全可以通过显式配置实现严格的内存限制，预留足够内存给其他进程使用，核心配置逻辑如下：

• 不要依赖默认的内存阈值，针对用到的数据区域同时显式配置initialSize和maxSize两个参数：maxSize是该数据区域能使用的堆外内存硬上限，内存占用触达这个值后就会触发冷页淘汰，永远不会超过这个值占用额外RAM；initialSize可以根据需求设成较小的值，避免启动时一次性申请过多内存。
• 以你128G内存、计划给Ignite分配100G内存、剩余28G给其他进程的需求为例，修正后的配置如下：

<bean class="org.apache.ignite.configuration.DataRegionConfiguration">
    <property name="name" value="Default_Region"/>
    <!-- 启动初始预分配20G内存，随使用逐步扩容，避免启动时一次性占满资源 -->
    <property name="initialSize" value="#{20 * 1024 * 1024 * 1024}"/>
    <!-- 内存硬上限：该数据区域最多占用100G堆外内存，触达后自动淘汰冷页 -->
    <property name="maxSize" value="#{100 * 1024 * 1024 * 1024}"/>
    <!-- 开启持久化 -->
    <property name="persistenceEnabled" value="true"/>
</bean>

• 配置注意事项：
  • 计算内存配额时要把Ignite JVM堆内存的占用也算进去，一般Ignite堆内存设置4-8G即可，不需要太大。如果要严格控制总占用，可以适当调低堆外maxSize的值，保证堆内存+堆外内存+其他进程预留内存的总和不超过机器物理内存。
  • 永远不要把initialSize设置为超过机器可用物理内存的值，否则会直接导致节点启动失败。
  • 如果配置了多个自定义数据区域，要把所有区域的maxSize加总计算总内存配额，避免多个区域内存加总超过预期。

内容的提问来源于stack exchange，提问作者Steve Hostettler