Ignite.NET 2.17进程无日志无转储间歇性退出问题排查

环境与配置 #

• 操作系统：Ubuntu 22.04
• Ignite版本：Apache Ignite.NET v2.17
• 依赖：.NET 8、JDK 17（Ignite JVM层）
• 持久化：基于MongoDB实现的自定义CacheStore（写后持久化）

问题现象 #

Ignite进程偶尔无征兆静默退出，已排除以下情况：

• 未被操作系统终止（无oom-killer/dmesg相关记录）
• 已配置详尽诊断但未生成核心转储

已配置的诊断设置 #

1. 启用.NET崩溃转储，配置对应环境变量
2. JVM参数添加-XX:ErrorFile及-XX:HeapDumpPath，启用JVM崩溃日志
3. 系统设置ulimit -c unlimited

进程退出前执行了一系列MongoDB CacheStore操作，日志包含FreeList桶操作（桶255/41/12）及并发写入记录，相关启动代码、CacheStore的WriteAll代码已留存。

核心问题 #

1. 此条件下Ignite静默退出的可能原因是什么？
2. FreeList页操作（桶255/41/12）是否表明存在数据损坏？
3. Ignite 2.17中是否存在并发CacheStore.WriteAll的已知问题？
4. 为何配置正确仍未生成崩溃转储？
5. 如何从JVM/.NET共存进程中提取更多诊断信息？

解答 #

1. 静默退出的可能原因 #

结合怀疑方向，补充以下可能：

• JVM未捕获的致命错误：JNI调用崩溃、本地代码异常等场景可能绕过默认日志配置，直接终止进程
• 自定义CacheStore问题：MongoDB驱动原生代码崩溃、异步操作未处理的未捕获异常，或WriteAll中并发冲突引发的进程终止
• Ignite内部资源耗尽：非堆内存（直接内存、线程池）耗尽虽无OOM记录，但可能触发静默退出
• 跨进程通信异常：.NET与JVM的JNI桥接出现未处理异常，导致整个进程终止

2. FreeList页操作与数据损坏的关联 #

FreeList桶操作是Ignite页内存管理器的正常行为，用于跟踪空闲页的分配与回收，单独的桶编号记录不直接表明数据损坏。若日志伴随页校验失败、页内容异常、FreeList一致性报错（如重复分配、空闲页丢失），才需要怀疑数据损坏，建议结合Ignite的IGNITE_PDS_WAL日志进一步排查。

3. Ignite 2.17中并发WriteAll的已知问题 #

Ignite 2.17官方issue记录中存在少量相关问题：

• 当多个WriteAll请求并发执行，且CacheStore未正确实现线程安全时，会引发Ignite内部状态不一致
• 若自定义CacheStore的WriteAll方法抛出未捕获的RuntimeException，通常会在日志留痕；若抛出Error级异常（如OutOfMemoryError），可能直接导致JVM退出

4. 未生成崩溃转储的原因 #

• 进程正常退出：若Ignite触发主动退出逻辑（如节点被集群驱逐、内部健康检查失败），不会生成崩溃转储
• 诊断配置未生效：.NET崩溃转储环境变量需在进程启动前设置，动态设置可能失效；JVM的-XX:ErrorFile路径无写入权限，导致日志无法生成
• 跨层异常未触发转储：.NET与JVM交互时的JNI异常可能既不触发.NET转储，也不触发JVM堆转储，直接终止进程
• 核心转储路径问题：默认核心转储路径（当前工作目录）无写入权限，需通过/proc/sys/kernel/core_pattern指定可写入路径

5. 提取更多诊断信息的方法 #

• 增强JVM诊断：添加JVM参数-XX:+UnlockDiagnosticVMOptions -XX:+LogVMOutput -XX:LogFile=/var/log/ignite_vm.log捕获VM细节；启用-Xlog:safepoint*=debug:file=/var/log/ignite_safepoint.log排查安全点阻塞问题
• .NET层诊断：使用dotnet-trace collect -p <pid>持续跟踪进程；设置COMPlus_DbgEnableMiniDump=1和COMPlus_DbgMiniDumpType=2确保生成完整转储，通过env命令验证环境变量生效
• 进程退出监控：用strace -f -o /var/log/ignite_strace.log ./ignite-start.sh跟踪系统调用，记录退出时的调用序列；通过systemd管理Ignite进程，配置Restart=on-failure并记录退出状态码
• CacheStore增强日志：在WriteAll方法中添加详细日志，覆盖每个操作的起止时间、异常捕获（含原生异常），确保所有异常都被记录
• Ignite内部日志调优：将日志级别设为DEBUG，重点跟踪org.apache.ignite.internal.processors.cache.store和org.apache.ignite.internal.pagemem包下的日志，排查内部状态变化

内容的提问来源于stack exchange，提问作者Motel Cook