Cassandra节点重启耗时20-25分钟，请求排查间隙耗时原因

DevOps 小满

2026-7-17

Cassandra节点重启后Compaction完成到IndexSummary初始化的25分钟间隙排查方案

检查MemTable加载情况
过滤日志中MemTable相关内容，确认是否在加载flush生成的MemTable快照：
```
grep -i memtable cassandra.log
```
重点查看加载进度、单快照加载耗时，大体积的MemTable快照加载可能占用大量时间。
验证SSTable元数据校验与加载
Cassandra启动时会遍历所有SSTable文件，校验完整性并加载元数据，大文件或大量小文件都可能拖慢进程：
```
grep "Loading SSTable" cassandra.log
```
对比每条日志的时间戳，统计单个SSTable的加载耗时，定位是否有异常耗时的文件。
排查磁盘IO瓶颈
查看节点重启时间段的磁盘IO统计，确认是否存在IO饱和：
```
# 若有历史监控数据优先查看，无则用iostat回溯（需提前开启）
iostat -x 1 60
```
重点关注%util（磁盘使用率）、await（IO平均响应时间）、svctm（服务时间）指标，磁盘性能不足会大幅拖慢元数据扫描速度。
检查系统资源占用
确认启动期间是否有其他进程抢占CPU，或内存不足导致swap频繁：
```
# 查看历史CPU/内存记录（需提前开启数据采集）
top -b -d 1 -n 3600
```
重点监控CPU使用率、内存占用率、swap使用量，资源瓶颈会导致Cassandra启动进程被阻塞。
验证IndexSummary预生成逻辑
检查日志中是否有索引摘要预生成操作：
```
grep "Building index summary for" cassandra.log
```
部分大表的IndexSummary生成可能在Compaction完成后执行，且耗时较长，需确认该操作是否落在间隙时间段内。
检查集群状态同步
查看节点加入集群时的拓扑、系统表同步日志：
```
grep -E "Joining cluster|Updating topology|system.peers" cassandra.log
```
确认是否在等待集群其他节点响应，或系统表数据同步耗时过长。