MongoDB v5.0.8社区版因日志写入失败随机崩溃求助

根因定位 #

• logrotate配置未实际生效：虽设置了每日轮转、单文件1M上限，但日志文件远超限制，说明MongoDB未正确响应日志轮转操作，持续写入旧日志文件导致文件膨胀
• 磁盘空间不足：平时78%的使用率已接近警戒线，崩溃时升至83%，加上手动备份曾耗尽磁盘，触发MongoDB日志写入失败，进而触发进程终止（对应日志报错Writing to log file failed, aborting application）

具体解决步骤 #

1. 修复logrotate配置，确保日志轮转生效 #

检查MongoDB的logrotate配置文件（通常路径为/etc/logrotate.d/mongod），补充必要的日志重载指令，确保轮转后MongoDB切换到新日志文件：

/var/log/mongodb/mongod.log {
    daily
    size 1M
    rotate 7
    missingok
    compress
    delaycompress
    postrotate
        /bin/kill -SIGUSR1 $(cat /var/run/mongodb/mongod.pid) 2>/dev/null || true
    endscript
}

• 核心是postrotate段的SIGUSR1信号：通知MongoDB关闭当前日志文件并重新打开，配合logrotate完成轮转
• 手动测试轮转效果：执行logrotate -v /etc/logrotate.d/mongod，检查mongod.log是否被截断，是否生成新的归档文件

2. 清理磁盘空间，降低使用率阈值 #

• 立即清理过期的MongoDB日志归档（如mongod.log.*.gz）、无用备份文件，释放磁盘空间
• 调整备份策略：选择磁盘使用率较低的时段执行备份，或改用增量备份减少备份体积；若磁盘容量长期紧张，考虑扩容磁盘
• 目标将磁盘使用率维持在70%以下，给系统和MongoDB预留足够缓冲空间

3. 优化MongoDB日志配置 #

编辑MongoDB配置文件（如/etc/mongod.conf），确保日志设置与logrotate兼容：

systemLog:
    destination: file
    path: /var/log/mongodb/mongod.log
    logRotate: reopen  # 配合logrotate使用，接收SIGUSR1信号切换日志

4. 监控与验证 #

• 重启mongod服务后，持续观察日志文件大小是否符合轮转规则
• 配置磁盘使用率监控告警，当使用率超过75%时及时预警，避免空间耗尽
• 跟踪服务运行状态，确认不再出现随机崩溃

内容的提问来源于stack exchange，提问作者alilland