AWS实例上Cassandra节点异常停止：两类错误的原因与解决咨询

刚巧碰到过好几次这类问题，来给你拆解下这两个报错的根源和对应的解决思路：

一、错误原因拆解 #

1. java.lang.OutOfMemoryError: Direct buffer memory #

Cassandra严重依赖Java NIO的Direct ByteBuffer来处理网络传输、磁盘读写（比如SSTable的读写操作），这类缓冲区是直接分配在堆外内存的。触发这个OOM的常见原因：

• JVM参数限制：默认情况下-XX:MaxDirectMemorySize和堆内存（-Xmx）一致，但如果堆内存本身不大，或者Cassandra突然面临高IO负载，堆外内存就会不够用。
• 负载突增：比如突然来了大量批量写入、大范围查询，瞬间需要创建大量Direct ByteBuffer来处理数据，超过了内存上限。
• 内存泄漏：极少数情况下，NIO通道未正确关闭、自定义UDF/UDA或者第三方依赖存在泄漏，导致Direct ByteBuffer无法被及时回收，积累到一定量就会爆内存。

2. Not marking nodes down due to local pause of #

这个日志是Cassandra的故障检测机制在“自保”。Cassandra节点之间靠心跳判断状态，如果本地节点因为GC停顿过长、磁盘IO阻塞（比如内存不足导致卡顿、磁盘性能跟不上），没办法及时处理心跳请求，就会弹出这个提示——意思是“我自己现在卡了，没法准确判断其他节点的状态，所以不会随便把别人标成下线”。而这个本地暂停通常和前面的Direct Buffer OOM直接相关：内存不足会引发频繁GC甚至Full GC，导致JVM长时间停顿。

二、具体解决办法 #

针对Direct Buffer内存溢出 #

• 调整JVM参数：
  • 增大-XX:MaxDirectMemorySize，比如堆内存设的是8G，可以把这个参数调到16G（注意要留足物理内存，AWS实例总内存别用满，至少留20%给系统进程，避免swap）。
  • 同时检查-Xmx和-Xms，Cassandra推荐堆内存不超过32G（超过后JVM压缩指针失效，内存效率下降），根据实例配置合理调整，别让堆内存挤占堆外内存的空间。
• 优化Cassandra核心配置：
  • 降低batch_size_warn_threshold_in_kb和batch_size_fail_threshold_in_kb，限制过大的批量写入，避免瞬间消耗大量堆外内存。
  • 调整concurrent_reads和concurrent_writes，根据实例CPU核数来设（比如8核的话，reads设16，writes设8），别贪多导致并发IO压垮内存。
  • 检查memtable_flush_writers，保证memtable刷盘线程数合理，避免刷盘时占用过多Direct Buffer。
• 排查内存泄漏：
  • 用jmap抓堆快照：jmap -dump:format=b,file=cassandra_heap.hprof <Cassandra进程ID>，然后用MAT工具分析，看看有没有未释放的Direct ByteBuffer。
  • 排查自定义的UDF、UDA或者第三方插件，这些地方容易藏内存泄漏。

针对本地暂停问题 #

• 先解决内存问题：把Direct Buffer OOM搞定后，GC停顿会大幅减少，本地暂停的情况自然会缓解。
• 优化GC配置：
  • 用G1GC（Cassandra 3.11+默认推荐），加上-XX:MaxGCPauseMillis=200，限制单次GC的停顿时间在200ms以内，避免长时间卡顿。
  • 别用CMS GC，大堆内存场景下CMS的Full GC停顿时间会很长，容易触发本地暂停。
• 优化磁盘IO：
  • AWS实例换用高性能存储，比如gp3（调大IOPS）或者io2，避免磁盘IO瓶颈拖慢JVM。
  • 把Cassandra的数据目录和日志目录分开挂载到不同磁盘，减少IO竞争。
• 加强监控：
  • 用nodetool tpstats看线程池状态，nodetool gcstats监控GC情况，提前发现异常。
  • 用AWS CloudWatch监控实例的CPU、内存、磁盘IO指标，快速定位瓶颈。

额外小贴士 #

• 如果AWS实例本身内存太小（比如t2.medium这种微型实例），直接升级到c5.2xlarge或者m5.xlarge这类内存充足的实例，硬件层面先解决压力。
• 低峰期用nodetool compact清理旧的SSTable，减少磁盘IO负载（注意compact会消耗IO，别在业务高峰期做）。

内容的提问来源于stack exchange，提问作者Sat