6节点Cassandra集群节点因内存不足被系统终止的问题求助

咱们先搞清楚这个节点OOM被内核杀掉的来龙去脉，结合你的环境配置和日志信息，一步步拆解根因和解决办法：

核心根因 #

从syslog的OOM Killer日志和环境配置来看，问题出在这几个点：

• 内存分配限制过严：你的节点设置了overcommit_memory=0，这个模式下Linux内核会严格卡着「物理内存+Swap」的总量来允许进程分配内存，但你又禁用了Swap，相当于只能用物理内存。而DSE/Cassandra除了JVM堆内存，还会用到大量堆外内存（比如磁盘文件缓存、NIO直接内存、DSE组件额外占用的内存），这些加起来很容易超出物理内存阈值，触发内核杀进程。
• 文件缓存挤压内存：日志里file-rss:176871432kB（约170GB）说明系统把大量物理内存用在了文件缓存上，进一步挤掉了JVM进程的可用空间，最终导致内存耗尽。

分步解决方案 #

1. 调整内存过度提交配置 #

把overcommit_memory改成1，这是DSE/Cassandra部署的推荐配置——内核会允许进程分配超过物理内存的空间（只要虚拟内存足够），避免因堆外内存突发占用触发OOM：

# 临时生效（重启节点后会重置）
echo 1 > /proc/sys/vm/overcommit_memory

# 永久生效，编辑/etc/sysctl.conf添加以下内容：
vm.overcommit_memory = 1

# 立即加载配置
sysctl -p

2. 优化JVM堆内存设置 #

DSE 5.1.x搭配Cassandra 3.11，堆内存配置要遵循两个关键原则：

• 堆内存占物理内存的比例不超过50%，预留足够空间给堆外内存和系统缓存；
• 堆内存不要超过32GB，否则JVM会关闭压缩指针（UseCompressedOops），额外增加内存开销。
  修改cassandra-env.sh里的堆内存参数示例：

# 假设节点物理内存是256GB，设置堆内存为31GB、新生代8GB
export MAX_HEAP_SIZE="31G"
export HEAP_NEWSIZE="8G"

3. 降低文件缓存优先级 #

调整vm.vfs_cache_pressure参数，让内核更积极地回收文件缓存，给应用进程腾空间：

# 临时生效
echo 50 > /proc/sys/vm/vfs_cache_pressure

# 永久生效，编辑/etc/sysctl.conf添加：
vm.vfs_cache_pressure = 50

# 加载配置
sysctl -p

默认值是100，设为50后内核会优先释放文件缓存而非应用内存。

4. 检查DSE组件的内存占用 #

如果你的集群启用了DSE Search（Solr）、Graph或Analytics组件，这些都会额外占用内存：

• 对于DSE Search，要单独调整Solr的堆内存（在solr.in.sh中设置SOLR_HEAP）；
• 用free -h、jstat -gc <pid>、nodetool info等工具定期监控堆内存、堆外内存和系统内存的占用趋势，提前发现异常。

5. 验证节点恢复状态 #

重启故障节点后，执行以下命令确认状态正常：

# 检查DSE服务状态
systemctl status dse

# 查看节点是否成功加入集群
nodetool status

# 实时监控内存使用
watch -n 10 free -h

内容的提问来源于stack exchange，提问作者user2778214