You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Ubuntu服务器随机重启或崩溃问题排查求助

Ubuntu服务器随机重启或崩溃问题排查求助

你好,针对你遇到的Ubuntu服务器频繁随机重启、崩溃的问题,我结合你的描述梳理了排查方向和下一步建议,希望能帮到你:

背景情况梳理

你这台是无显示器的Ubuntu深度学习服务器,平时靠SSH/SFTP远程管理,24小时运行在有稳定供电和空调的机房,配置了公网IP并开启UFW防火墙,主要用于GPU加速的深度学习任务,同时会通过内网SSH连接其他服务器。机器之前稳定运行8个月,近4个月开始出现异常。

核心症状总结

  • 故障频率持续升高:从最初2~3周一次,发展到现在不到1周甚至3天就出现,且从自动重启演变为更多直接崩溃断电的情况
  • 无负载也会触发故障:哪怕只运行系统默认进程,也会出现崩溃/重启;跑满CPU、GPU的压力测试反而没出问题,暂时可以排除过热因素
  • SSH连接异常:除了崩溃,还经常出现SSH延迟、连接断开(broken pipe),直接连LAN线后这个问题有所缓解
  • 日志无关键异常:last -x看不到故障记录,syslog里只有大量UFW BLOCK日志,排查后确认这些是正常的外部拦截或内网广播,暂时没发现直接关联崩溃的线索

硬件配置清单

  • CPU:Intel i7-11700KF(搭配额外散热器)
  • 主板:Intel Z590
  • 内存:三星32GB × 4条
  • 存储:三星M.2 NVMe 1TB × 2块
  • GPU:NVIDIA RTX3090 × 2块
  • 电源:Seasonic PX-1300
  • 系统:Ubuntu 20.04.4 LTS

已完成的排查动作

  • 内存检测:memtest结果显示正常
  • 存储检测:smartctl检查两块SSD无异常
  • 日志排查:初步检查syslog,仅发现大量UFW BLOCK日志,未找到崩溃相关的关键信息;对比内网其他无UFW的机器,确认BLOCK日志是正常的拦截行为

下一步排查建议

结合你的症状,硬件层面的问题概率更高,建议按以下顺序逐一排查:

1. 电源与供电连接排查

虽然你的电源是Seasonic高端型号,但频繁断电崩溃首先要怀疑电源稳定性或供电连接:

  • 检查所有供电线:包括主板24Pin、CPU 8Pin、GPU供电线,确保插紧无松动
  • 尝试替换电源:如果有备用的大功率电源(建议1200W以上),替换后测试一段时间,看是否还会崩溃,排除电源本身故障

2. 主板BIOS更新

Intel Z590主板的旧BIOS可能存在兼容性或稳定性BUG,建议:

  • 去Intel官网下载对应主板型号的最新BIOS
  • 按照主板说明书的步骤完成BIOS更新(注意更新过程绝对不能断电)

3. GPU相关排查

双RTX3090的高功耗可能带来供电或兼容性问题:

  • 检查GPU供电线:确保每块GPU的供电线都插紧,没有虚接
  • 单GPU测试:暂时拔掉一块RTX3090,只留一块运行,观察一段时间是否还会崩溃,排除其中一块GPU的故障
  • 显卡驱动调整:尝试升级或降级NVIDIA驱动到稳定版本(比如470系列长期支持版),排除驱动BUG导致的系统异常

4. 系统日志深度分析

除了syslog,还要重点排查内核相关日志:

  • 查看/var/log/kern.log和/var/log/dmesg:特别是崩溃前的日志片段,可能会有内核panic的记录(如果系统来得及写入)
  • 启用kdump:配置内核崩溃转储工具,这样系统崩溃时会保存内存快照,方便后续分析具体崩溃原因

5. 网络与网卡排查

既然直接连LAN后SSH问题缓解,建议进一步排查网络相关:

  • 临时关闭UFW:测试一段时间,看是否还会崩溃,排除防火墙规则导致的异常
  • 更新网卡驱动:检查服务器网卡型号,下载并安装最新的驱动程序,排除网卡驱动BUG
  • 排查路由器:如果服务器是通过路由器连接网络,检查路由器是否存在广播风暴、ARP冲突等问题,比如查看路由器日志,或更换其他路由器测试

6. CPU散热与供电排查

虽然你有额外散热器,但还是要确认CPU的稳定性:

  • 检查CPU风扇:确保风扇运转正常,没有异响或停转
  • 检查散热硅脂:如果服务器已经运行很久,可能硅脂干涸,重新涂抹硅脂后测试
  • 检查CPU供电线:确认CPU的8Pin供电线插紧,没有松动

总结

从目前的症状来看,电源、主板供电、GPU兼容性这几个硬件环节的问题可能性最大,建议你按照上面的步骤逐一排查,每完成一步都观察一段时间,看故障是否消失。如果有新的日志或测试结果,也可以补充进来,方便进一步分析。

备注:内容来源于stack exchange,提问作者labonteck1

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.22 10:03:02