GCP Compute Engine VM无通知宕机 显示运行无法SSH连接咨询

问题记录 #

• 6月7日深夜Google Cloud Platform Compute Engine虚拟机发生宕机，对应监控面板3条紫色竖线标记位置，全程未收到任何平台侧的宕机相关通知
• 前往VM实例管理页面核查时，控制台显示实例状态为运行中，但无法通过SSH连接访问实例
• 实例疑似宕机阶段，监控面板仍显示存在CPU活动记录，该现象存在疑问
  

排查步骤与解决方案 #

1. 绕过控制台缓存确认实例真实状态 #

GCP控制台前端经常存在状态缓存延迟，不要完全以页面显示的运行状态为准，优先打开Cloud Shell执行gcloud命令拉取实例真实状态：

# 替换尖括号内容为你的实例名称、所在可用区
gcloud compute instances describe <你的实例名> --zone <实例所在可用区> --format="value(status)"

• 如果命令返回结果不是RUNNING，直接在Cloud Shell执行实例重置命令，等待重启完成后再尝试连接：

  gcloud compute instances reset <你的实例名> --zone <实例所在可用区>
  

2. SSH无法连接的分层排查 #

• 先做端口连通性校验：本地执行nc -zv <实例公网IP> 22确认22端口是否可达
  • 若22端口不通：先核查VPC防火墙规则是否放通22端口入方向流量、实例公网IP绑定是否正常、是否存在IP被安全策略拦截的情况；同时直接开启GCP串行端口控制台，绕开网络直接登录实例排查：

    # 先给实例开启串行端口访问权限
    gcloud compute instances add-metadata <你的实例名> --zone <实例所在可用区> --metadata=serial-port-enable=TRUE
    # 连接串行控制台查看系统启动、运行日志
    gcloud compute connect-to-serial-port <你的实例名> --zone <实例所在可用区> --port=1
    

  • 若22端口可达但SSH连接被拒绝/超时：基本是实例内部系统层面故障，常见原因包括内存耗尽触发OOM杀掉sshd进程、磁盘分区100%占满导致sshd无法响应、内核panic挂死、深夜定时任务/自动更新触发系统异常，同样通过串行控制台查看/var/log/syslog、/var/log/messages日志即可定位具体报错。

3. 宕机后仍显示CPU活动的原因说明 #

该现象属于GCP监控统计逻辑的正常表现，不代表实例内部系统仍在正常运行：
GCP默认展示的CPU使用率指标是宿主机虚拟化层统计的vCPU资源调度数据，只要实例没有在宿主机层面被关机/销毁，哪怕实例内部操作系统已经完全卡死、无任何业务进程运行，宿主机为实例预留vCPU资源产生的虚拟化层开销、底层资源调度动作都会被计入CPU统计，因此会显示低比例的CPU活动记录。
建议同步去GCP审计日志（Audit Log）过滤异常时段的实例事件，确认是否存在宿主机硬件故障、实例热迁移、自动修复类事件，这类底层事件如果没有自定义配置告警，平台默认不会推送通知。

4. 告警缺失的补全方案 #

GCP默认不会为单实例配置细粒度的异常告警，仅在实例被主动删除、宿主机层面判定实例完全故障触发自动重启时可能推送通知，类似内部系统卡死、网络不通的假运行状态默认无告警，需要手动补全告警策略：

• 配置Uptime Check探测，定期探测实例SSH端口、核心业务端口的连通性，连通性异常立刻触发通知
• 增加CPU、内存、磁盘使用率的阈值告警，提前感知资源耗尽类风险
• 配置审计日志告警，过滤实例重启、宿主机迁移、系统崩溃类事件，覆盖底层硬件故障场景

内容的提问来源于stack exchange，提问作者JHL