GCP App Engine Java实例持续重启但请求成功的原因排查问询

1. 实例持续重启的可能原因 #

• 健康检查异常：App Engine的存活/就绪检查（liveness/readiness）配置不合理，比如检查路径未正确响应、超时时间过短，平台判定实例不健康触发重启，但实际业务请求的处理线程仍在运行，所以请求未失败。
• 资源耗尽触发重启：100QPS流量下，Java应用出现内存泄漏、CPU使用率长期过高，触发平台的OOM（内存溢出）kill或资源阈值重启机制，重启过程中平台将请求路由到未完全终止的实例，或通过请求缓冲保证了请求成功。
• 应用内部逻辑导致：代码中存在定时重启、热重载逻辑，或依赖的框架/库（如Spring DevTools）自带自动重启功能，被误配置到生产环境。
• 平台例行维护：GCP平台对实例进行例行更新或维护，强制重启实例，但这种情况通常不会持续发生。
• 启动超时误判：实例启动时间超过平台配置的启动超时阈值，被标记为启动失败并重启，但实际应用已完成初始化并开始处理请求。

2. 排查重启原因的步骤 #

• 查看实例日志：在GCP控制台日志查看器中，过滤实例的启动、终止日志，搜索restart、terminate、OOM、health check等关键词，定位具体错误信息。
• 验证健康检查配置：检查app.yaml中的liveness_check和readiness_check配置，确认检查路径可正常访问、超时/间隔时间设置合理；手动访问实例的健康检查端点，验证响应状态。
• 监控资源使用：在GCP监控页面查看实例的CPU、内存、磁盘使用率曲线，确认是否存在持续高负载或内存接近上限的情况。
• 分析Java应用状态：通过jstack、jmap等工具连接实例，分析线程状态、堆内存使用情况，排查内存泄漏、死锁等问题。
• 检查应用代码逻辑：排查代码中是否存在自定义重启逻辑，确认依赖库是否带有自动重启功能（如开发环境热重载工具是否被带入生产）。
• 查看实例事件历史：在GCP控制台“实例”页面查看实例的事件记录，确认重启触发方是平台还是应用自身。

内容的提问来源于stack exchange，提问作者infinite_loop