如何排查Heroku应用宕机原因？定位具体故障触发点

1. 增强关键节点的日志输出 #

• 在所有API入口、第三方服务调用、数据库操作等核心环节，强制记录请求ID、调用方信息、输入参数、执行时间，宕机时通过请求ID串联全链路日志。
• 异常发生时，打印完整调用栈（StackTrace），不要仅记录错误消息，保留原始异常的上下文细节。
• 针对定时任务、消息队列消费等特定事件，给日志添加专属前缀，方便快速筛选定位。

2. 实现全链路追踪 #

• 手动埋点：在每个调用环节传递唯一追踪ID，可通过请求头、线程上下文传递，确保每个节点的日志都携带该ID，事后能通过ID排查完整调用路径。
• 利用语言内置工具：比如Java用MDC（Mapped Diagnostic Context）、Python用logging.LoggerAdapter，自动给日志注入追踪信息，无需逐个修改日志语句。

3. 模拟触发与断点调试 #

• 复现问题：若能复现宕机场景，在可疑API或事件入口设置断点，逐步执行观察每个节点的状态变化，重点关注资源耗尽、超时、异常抛出的环节。
• 远程调试：线上环境可开启受限的远程调试端口，直接Attach到进程，在关键节点打断点，捕获宕机瞬间的现场状态。

4. 全局异常捕获与告警 #

• 添加全局异常处理器，捕获所有未处理的异常（包括异步线程中的异常），记录异常详情的同时触发实时告警（如邮件、即时消息），第一时间获取宕机触发的上下文。
• 在API网关或入口层记录所有失败请求的状态码、请求体、响应体，尤其是5xx错误，快速定位触发宕机的API请求。

5. 资源与状态监控 #

• 监控应用运行时关键指标：CPU使用率、内存占用、线程数、数据库连接池状态，宕机前的指标突变往往能指向触发点（比如某API调用导致内存溢出）。
• 针对特定事件，记录触发时间、参数、依赖服务状态，比如定时任务执行时，检查依赖的数据库、缓存是否正常。

内容的提问来源于stack exchange，提问作者Ghulam Nabi Afridi