Cassandra多DC集群内存突增调优咨询：尖峰排查与优化建议

一、可调整的配置项（针对Compaction相关内存尖峰） #

1. LeveledCompactionStrategy（LCS）专属配置 #

• sstable_size_in_mb：LCS默认SSTable大小为160MB，调小该值（如64MB）可减少单次compaction处理的数据量，降低内存占用。更小的SSTable意味着每次合并的文件更少，内存开销更可控。
• compaction_split_large_partitions：开启该参数（默认关闭），compaction时会自动拆分超过compaction_large_partition_warning_threshold_mb设置的大分区，避免单分区加载占用大量内存。同时建议先通过nodetool tablestats或CQL查询定位大分区，手动拆分或优化数据模型。
• max_sstable_age_days：设置该值让超过期限的旧SSTable不再参与compaction，减少不必要的compaction触发频率和规模，降低内存波动。

2. 内存与IO调度配置 #

• file_cache_size_in_mb：堆外文件缓存如果分配过大（当前配置4G堆外），compaction时会占用大量堆外内存导致总内存飙升。可适当调小（如2GB），预留堆外内存给其他组件使用。
• memtable_flush_writers：减少该参数值（默认2），避免memtable flush与compaction同时并发执行，减少内存资源抢占。根据磁盘IO性能调整，比如设为1。
• concurrent_reads/concurrent_writes：适当降低读写并发数（如concurrent_writes从32降至16），减少请求处理过程中的内存占用，避免与compaction的内存需求叠加。

3. JVM GC优化 #

• 切换至G1GC（如果当前使用CMS），配置-XX:+UseG1GC、-XX:MaxGCPauseMillis=200等参数，优化GC停顿时间，避免compaction触发Full GC导致内存回收前的堆积尖峰。同时检查GC日志，确认是否存在GC延迟或内存泄漏情况。
• 合理设置元空间参数：-XX:MetaspaceSize=256m、-XX:MaxMetaspaceSize=512m，避免元空间占用过多堆外内存。

二、除Compaction外的潜在因素排查 #

1. Memtable批量Flush #

当多个memtable同时达到memtable_total_space_in_mb阈值触发flush时，会占用大量内存用于临时缓存和SSTable写入。通过nodetool tpstats监控MemtableFlushWriter线程的活跃情况，确认尖峰时段是否有flush操作。

2. 大查询/全表扫描 #

即使常规读请求仅100次/秒，若存在偶尔的全表扫描、未使用分区键的范围查询，会加载大量数据到内存导致突增。使用nodetool proxyhistograms查看读请求的数据量分布，或开启CQL查询日志定位此类异常查询。

3. 二级索引滥用 #

二级索引查询（尤其是高基数字段的索引）会触发大量SSTable扫描，加载数据至内存。检查集群中是否存在不必要的二级索引，或优化索引使用方式。

4. 节点修复操作 #

定期的节点修复（Repair）过程会读取大量数据进行一致性校验，内存开销与compaction类似。对比修复任务的执行时间与内存尖峰的时间点，确认是否存在关联。

5. 底层基础设施因素 #

GCP虚拟机的内存ballooning机制、宿主机上其他实例抢占内存，都可能导致Cassandra的内存使用率出现突增。查看GCP监控平台的宿主机内存指标，排除外部资源抢占的可能。

内容的提问来源于stack exchange，提问作者vignesh s