多IgniteDataStreamer实例并发写同一缓存是否安全及分区警告问题

背景 #

Ignite的IgniteDataStreamer.addData方法说明提到：若需加速流处理，可从多线程并行调用此方法。我当前的场景是Ignite集群启动后预加载大型缓存，初始单流加载实现如下：

try (IgniteDataStreamer<K, V> streamer = ignite.dataStreamer("MyCache")) {
    try (Stream<Map.Entry<K, V>> stream = jdbcTemplate.queryForStream(
            "select * from foo where '2020-01-01'<=foo.time and foo.time<'2026-01-01'",
            MY_ROW_MAPPER)) {
        stream.forEach(entry -> streamer.addData(entry.getKey(), entry.getValue()));
    }
}

为提升加载速度，我计划拆分为N个IgniteRunnable任务，每个任务负责加载并流式传输一个月的数据到缓存，通过Ignite计算API将任务均匀分发到集群执行。但测试后偶尔会在预加载完成后出现如下警告日志：

(Log4J2Logger.java:523) Partition states validation has failed for group: MyCache, msg: Partitions update counters are inconsistent for Part...

经排查，该警告由无关的IgniteAtomicLong首次初始化触发的分区映射交换（PME）事件引发。现想确认：使用多个IgniteDataStreamer实例并发向同一缓存写入数据是否安全？

1. 多实例并发写入同一缓存是安全的
   Ignite官方设计明确支持该用法，IgniteDataStreamer本身允许多个实例同时操作同一缓存——无论这些实例运行在单个节点还是集群多节点上，都不会引发数据一致性问题。

2. 关于你遇到的警告日志
   你的排查结论正确：该分区状态验证警告与多IgniteDataStreamer实例无关，是IgniteAtomicLong初始化触发PME事件导致的。PME过程中集群会更新分区映射，此时若有缓存状态校验类操作，就可能出现这种临时的计数器不一致警告，属于正常临时现象，不会影响缓存数据的正确性。

3. 预加载优化建议

• 若场景允许覆盖数据，建议每个IgniteDataStreamer实例开启allowOverwrite=true，避免重复数据冲突。
• 可根据集群节点数和硬件配置，调整IgniteDataStreamer的perNodeBufferSize和perNodeParallelOperations参数，优化批量写入性能。
• 任务拆分时尽量按缓存分区键范围拆分，减少跨节点数据传输，进一步提升加载效率。

内容的提问来源于stack exchange，提问作者jvfullam