如何让ZGC跳过扫描大本地缓存以缩短GC并发标记时间？

首先明确：ZGC的并发标记会遍历堆内所有可达对象，要让它跳过缓存的标记，核心是让缓存数据脱离ZGC的追踪范围——要么彻底放到堆外，要么移出JVM进程。针对你的情况，给出以下可行方案：

1. 真正的堆外内存存储（彻底脱离堆内标记） #

如果要继续用本地缓存，必须让缓存的实际数据完全存放在堆外，堆内仅保留不被GC追踪的原始指针（比如long类型地址）或极小的元数据：

• 直接使用ByteBuffer.allocateDirect()分配堆外内存，自行处理缓存数据的序列化/反序列化，堆内只保存ByteBuffer对象（这类对象本身很小，ZGC标记时几乎不耗时）。
• 避免使用依赖堆内对象引用的堆外缓存封装（比如部分Caffeine的堆外扩展），这类实现可能仍在堆内保留大量缓存条目对象，依然会被ZGC标记。
• 注意：这种方式需要手动管理堆外内存的释放，避免内存泄漏，可结合引用队列（ReferenceQueue）监听缓存条目失效，及时释放堆外内存。

2. 移出缓存到独立进程 #

将缓存从JVM堆内/堆外转移到独立的本地缓存进程（比如本地Redis实例、Memcached）：

• JVM堆内仅保留缓存客户端的连接对象和少量配置元数据，完全脱离ZGC的标记范围，从根源上解决标记耗时问题。
• 代价是缓存访问会增加序列化/反序列化和进程间通信的开销，但对于大多数场景，这种开销远低于GC耗时的影响。

3. 调整ZGC并发标记线程数（治标方案） #

如果不想改动缓存架构，可以先尝试增加ZGC的并发线程数，利用更多CPU资源缩短标记时间：

• 通过JVM参数-XX:ConcGCThreads=N设置，N建议根据服务器CPU核心数调整（一般为核心数的1/4到1/2，比如8核服务器设为4）。
• 你当前用2个线程，若服务器CPU核心数足够（比如8核及以上），可以尝试调到4或6，观察并发标记时间是否缩短。

为什么之前的Caffeine+堆外方案无效？ #

大概率是因为该方案并没有真正将缓存数据移出ZGC的追踪范围：比如Caffeine的堆外扩展可能只是将对象序列化后存储，但堆内仍保留大量缓存条目对象（包含序列化后的数据引用），这些对象依然会被ZGC扫描标记，所以无法减少标记耗时。

内容的提问来源于stack exchange，提问作者Xi Yang