Apache Ignite查询单分区百万条记录报Out of memory如何解决

抛出OOM的核心原因是当前查询默认会把所有命中的100万条记录全量加载到执行节点的JVM堆内存中完成排序、结果封装，再一次性返回给客户端，单节点堆内存无法承载全量结果集+排序产生的临时内存开销，触发内存溢出。

• 开启SQL懒加载：在Ignite的SqlConfiguration中设置lazy=true，该配置会让查询引擎边扫描数据边返回结果，不会一次性把所有命中记录加载到堆内存，是解决大结果集查询OOM见效最快的配置。
• 调整查询内存配额：单节点32G内存的配置下，给Ignite节点JVM分配16G堆内存（启动参数添加-Xms16g -Xmx16g），剩余内存留给堆外存储和系统页缓存；同时设置单查询内存配额为2G，全局查询内存池大小设置为堆内存的70%，避免单个查询占满全部节点内存。
• 开启共置查询优化：你的查询条件带了亲和键AFFINITYKEY，所有命中数据本身就存储在同一个节点上，不需要跨节点拉取数据做聚合，开启IGNITE_SQL_COLOCATED_JOIN=true参数后，查询会直接在数据所在节点执行完成，省去reduce节点拉取、缓存中间结果的内存开销。
• 调优通信缓冲区：将TcpCommunicationSpi的发送、接收缓冲区调整为64M，避免大结果集传输时缓冲区数据积压占用额外内存。

• 减少不必要的内存开销：不要一次性拉取全量100万条结果，通过JDBC/Java API开启游标，每次拉取1000~10000条记录迭代处理，避免客户端和服务端缓存全量结果。如果业务必须一次性返回全量，可以去掉非必要的ORDER BY KEY ASC逻辑——因为KEY是缓存主键，按主键范围扫描本身就是按KEY顺序输出结果，不需要额外做全局排序，能省掉排序阶段占用的大量临时内存。
• 补全必要索引：给AFFINITYKEY字段建二级索引，执行SQL：CREATE INDEX IF NOT EXISTS idx_affinity ON IGNITEVALUE(AFFINITYKEY)，避免查询时扫描整个分区的无效数据，减少扫描阶段加载的无关记录。
• 避免全字段查询：如果业务不需要完整的value对象，不要直接查_VAL，只查询需要的具体字段，降低单条记录的内存占用。
• 大结果集场景用ScanQuery替代SQL：如果是固定按亲和键+KEY范围拉取数据，直接用原生ScanQuery配合亲和键路由到目标分区做过滤遍历，跳过SQL引擎解析、行对象序列化的额外开销，内存占用比SQL查询低30%以上。

单分区存储100万条记录属于典型的数据倾斜场景，建议将集群总分区数从默认值1024调整为2048或更高，让数据更均匀分布在3个节点上，避免单分区数据量过大带来的单点压力问题。

内容的提问来源于stack exchange，提问作者amitwdh