Cassandra Commit Log Sync告警疑问：中等负载下是否需关注？

先来看你提供的告警日志：

WARN [PERIODIC-COMMIT-LOG-SYNCER] 2018-05-16 21:11:14,294 NoSpamLogger.java:94 - Out of 0 commit log syncs over the past 0.00s with average duration of Infinityms, 1 have exceeded the configured commit interval by an average of 74.40ms
WARN [PERIODIC-COMMIT-LOG-SYNCER] 2018-05-16 21:16:57,844 NoSpamLogger.java:94 - Out of 0 commit log syncs over the past 0.00s with average duration of Infinityms, 1 have exceeded the configured commit interval by an average of 198.69ms
WARN [PERIODIC-COMMIT-LOG-SYNCER] 2018-05-16 21:24:46,325 NoSpamLogger.java:94 - Out of 0 commit log syncs over the past 0.00s with average duration of Infinityms, 1 have exceeded the configured commit interval by an average of 264.11ms
WARN [PERIODIC-COMMIT-LOG-SYNCER] 2018-05-16 21:29:46,393 NoSpamLogger.java:94 - Out of 32 commit log syncs over the past 268.84s with, average duration of 17.56ms, 1 have exceeded the configured commit interval by an average of 173.66ms

先拆解下这个告警的核心信息 #

这个告警来自Cassandra的PERIODIC-COMMIT-LOG-SYNCER组件，它的作用是定期统计commit log同步的耗时情况，一旦有同步操作超过你配置的commitlog_sync_period（这里是10000ms/10秒），就会触发告警。

日志里前几条的Out of 0 commit log syncs... average duration of Infinityms是个小异常，本质是统计窗口的时间为0秒，导致计算平均时长时出现除以0的情况，这个不用太在意，重点看最后那条有实际统计数据的日志：

• 268秒内完成了32次commit log同步，平均耗时仅17.56ms，远低于你配置的10秒间隔
• 只有1次同步超时，且超时幅度仅173.66ms，同样远小于10秒的阈值

这个告警需要重视吗？ #

短期内不需要过度紧张，理由如下：

• 你的commit log同步整体表现非常好：绝大多数同步操作耗时只有十几毫秒，远低于10秒的配置间隔
• 仅有的超时是个例，且超时幅度极小，大概率是集群中等负载下的临时波动导致的——比如某一瞬间磁盘IO突增、节点发生了一次短暂的Young GC停顿，或者网络短暂抖动，都可能造成这种单次的小幅度超时。

但你需要关注这些变化信号 #

如果出现以下情况，就需要警惕并排查问题了：

• 告警出现的频率越来越高：从“偶尔出现”变成“几分钟一次甚至更频繁”
• 超时的平均时长持续增加：比如从几百毫秒涨到几秒，甚至接近10秒的配置阈值
• 伴随其他异常：比如节点出现频繁的Full GC、磁盘IO latency持续偏高、读写请求延迟增加等

给你的后续建议 #

• 持续监控核心指标：重点跟踪节点的磁盘读写延迟、IOPS、CPU使用率、GC停顿时间，以及commit log同步的超时频率和时长
• 先观察再调整：如果只是当前这种偶尔的小幅度超时，完全不需要修改配置，继续观察即可
• 排查潜在瓶颈：如果告警频率上升，优先检查磁盘性能（尤其是commit log所在磁盘），如果用的是机械硬盘，可以考虑换成SSD；其次检查GC配置，是否需要调整JVM参数减少停顿；另外也可以确认下集群的负载是否均匀，有没有个别节点承担了过多的请求

内容的提问来源于stack exchange，提问作者ozzieisaacs