CockroachDB集群存储无故增长原因排查及解决方法咨询

原因分析 #

• 日志与审计记录：CockroachDB默认会生成节点运行日志，若开启审计功能还会产生审计日志。即使没有业务操作，集群内部的心跳检测、节点状态同步等操作也会持续生成日志，长期积累会占用存储。
• Raft共识协议日志：集群节点间依赖Raft协议维持共识，即使无业务数据，节点间的心跳交互、元数据同步也会产生少量Raft日志，这些日志会不断积累，直到触发快照清理。
• 系统表数据积累：CockroachDB内置大量system.*系统表，会定期收集集群统计信息、节点健康数据、事件日志等，这些数据会持续写入系统表，时间久了导致存储增长。
• 自动快照与备份：若开启了自动备份或集群默认的快照机制，系统会定期生成元数据快照，即使没有业务数据，这些快照也会占用额外存储。
• 存储引擎预分配：CockroachDB使用的RocksDB存储引擎默认会预分配磁盘空间以提升性能，预分配的空间会被计入已使用存储，看起来像是存储在持续增长，但实际可能未写入真实数据。

解决办法 #

• 优化日志管理
  • 调整日志级别，将非必要日志从INFO降为WARN或ERROR，减少日志生成量，启动节点时可通过--log-level=warn设置。
  • 配置日志滚动清理：用--log-file-max-size设置单日志文件大小上限，--log-file-max-num设置保留的日志文件数量，超过后自动清理旧日志；也可借助外部工具如logrotate定期清理。
  • 若无需审计日志，执行SET CLUSTER SETTING sql.audit_log.enabled = false;关闭审计功能。
• 优化Raft日志
  • 调整Raft日志快照阈值，执行SET CLUSTER SETTING raft.log.snapshot.threshold = '64MB';（可根据集群情况调整），当Raft日志达到阈值时自动生成快照并清理旧日志。
  • 确保集群节点稳定，避免节点频繁重启或网络波动，减少不必要的Raft状态同步。
• 清理系统表数据
  • 若无需自动统计信息，执行SET CLUSTER SETTING sql.stats.automatic_collection.enabled = false;关闭自动收集；或调整收集间隔，减少数据写入频率。
  • 定期清理系统表历史数据，比如清理30天前的事件日志：DELETE FROM system.eventlog WHERE timestamp < now() - interval '30 days';（操作前建议备份数据）。
• 调整快照与备份策略
  • 若开启了自动备份，调整备份间隔至合理时长，或关闭不必要的自动备份。
  • 设置快照保留数量，执行SET CLUSTER SETTING kv.snapshot.retain_count = 3;（默认保留更多，可根据需求调整），自动清理旧快照。
• 处理存储预分配
  • 若为RocksDB预分配导致，重启节点时添加参数--store=type=rocksdb,preallocate=false关闭预分配功能，但此操作可能影响性能，需权衡后执行。
  • 通过cockroach node status --all命令查看真实数据占用情况，区分预分配空间与实际使用存储。

内容的提问来源于stack exchange，提问作者Vanshaj