在线游戏项目Ignite 2.14（Java17）高并发存储技术咨询

1. Ignite能否支撑9000次/秒、单条30M的并发存储？节点数及JVM配置建议 #

Ignite完全可以支撑该级别的并发，但需要合理的分布式节点部署和资源配置，核心瓶颈在于网络带宽和内存容量：

• 节点数量估算：
  先计算总吞吐量：9000次/秒 × 30MB/次 = 270GB/s（原始数据量），考虑网络传输的比特转换及协议开销，总带宽需求约2200Gbps。若采用10Gbps网卡的服务器，单节点有效写入带宽按1.1GB/s（约8.8Gbps）计算，至少需要245个节点；如果采用25Gbps网卡（有效带宽约2.7GB/s），节点数可降至100个左右。
  另外需考虑Ignite的副本策略：若启用2副本保障数据可靠性，节点数需在此基础上翻倍。同时，若游戏业务存在热点数据，需额外增加20%-30%的节点容量做冗余。
• 单节点JVM配置（Java17 + Ignite2.14）：

  # JVM启动参数
  -Xms32G -Xmx32G \
  -XX:MaxDirectMemorySize=64G \
  -XX:+UseG1GC \
  -XX:MaxGCPauseMillis=50 \
  -XX:+HeapDumpOnOutOfMemoryError \
  -Dignite.enableJvmPauseMonitoring=true \
  -DIGNITE_QUIET=false
  

  同时需在Ignite配置中调整内存区域：

  DataStorageConfiguration storageCfg = new DataStorageConfiguration();
  DataRegionConfiguration regionCfg = new DataRegionConfiguration();
  // 设置堆外内存最大值，适配大尺寸数据存储
  regionCfg.setMaxSize(60L * 1024 * 1024 * 1024);
  // 增大页大小，优化30M单条数据的存储效率
  regionCfg.setPageSize(128 * 1024);
  storageCfg.setDefaultDataRegionConfiguration(regionCfg);
  

2. 与MongoDB（CacheStore）交互是否应采用异步操作？ #

必须采用异步操作。原因如下：

• Ignite的write-behind机制依赖后台线程池异步刷写数据到MongoDB，如果CacheStore的write方法是同步实现，会占用后台线程导致任务队列堆积，进而影响Ignite前端的写入性能。
• 推荐使用MongoDB的异步Java驱动实现CacheStore，在write/writeAll方法中返回CompletableFuture，让Ignite后台线程无需等待MongoDB写入完成即可处理下一批任务，大幅提升刷写吞吐量。
• 注意：异步实现需做好异常处理，确保刷写失败时Ignite能触发重试机制（通过write-behind的retryCount配置）。

3. Ignite默认存储数据线程数及调整建议 #

• 默认线程数：Ignite中负责write-behind刷写的线程池，由CacheConfiguration.writeBehindConfiguration().getThreadPoolSize()控制，默认值为10。
• 调整建议：必须调整该线程数。按9000QPS的需求，结合MongoDB的处理能力，建议初始设置为50-100，后续通过压测优化：
  • 如果MongoDB集群能处理更高的并发写入，可继续增大线程数（上限不超过MongoDB连接池的最大连接数）；
  • 同时配合调整batchSize参数（建议设置为50-100），批量写入MongoDB以减少连接开销，提升整体效率。

内容的提问来源于stack exchange，提问作者zhouchen