Google App Engine手动缩放配置下实例异常扩容的问题求助

你的Google App Engine应用配置如下：

runtime: java17
instance_class: B4
[...]
manual_scaling:
  instances: 1

该应用以1个实例稳定运行多年，但在2024年3月26日UTC时间约3:15，未修改任何配置的情况下突然扩容至4个实例，引发服务问题：

可能的触发原因 #

• 平台基础设施维护/故障转移：Google Cloud会定期对底层基础设施进行维护，或在宿主机硬件故障、区域网络异常时自动调度实例，为保证服务连续性，可能临时创建额外实例，这类操作属于平台侧的自动容灾机制，不受用户手动扩缩容配置直接约束。
• 实例健康检查异常：如果应用实例出现健康检查失败（如进程崩溃、响应超时、内存耗尽），GAE会自动替换故障实例，若替换流程出现延迟或重试逻辑触发，可能导致短时间内多实例共存。
• 配置同步异常或平台bug：极少数情况下，平台的配置同步系统可能出现故障，导致手动扩缩容的配置未被正确执行，或内部逻辑错误触发不必要的扩容。
• 隐性配置变更：即使你未主动修改app.yaml，也可能存在间接变更，比如CI/CD流水线误操作、Cloud Deployment Manager配置漂移，或是IAM权限泄露导致他人修改了应用配置（可通过Cloud Audit Logs排查操作记录）。

针对性解决措施 #

• 排查操作与平台日志：在Google Cloud Console的Cloud Audit Logs中检索GAE相关操作记录，确认是否存在未授权配置变更，或平台侧的自动操作日志；同时查看应用的Instance Logs，排查实例是否出现健康问题。
• 优化健康检查规则：在app.yaml中明确配置健康检查参数，避免误触发实例替换，示例配置：

  liveness_check:
    path: "/health/live"
    check_interval_sec: 30
    timeout_sec: 4
    failure_threshold: 2
    success_threshold: 2
  readiness_check:
    path: "/health/ready"
    check_interval_sec: 5
    timeout_sec: 4
    failure_threshold: 2
    success_threshold: 2
  

• 锁定配置与权限：通过IAM权限限制仅授权用户/服务账号能修改GAE应用配置；启用Config Versioning跟踪配置变更历史，便于快速回滚异常配置。
• 设置实例数量告警：在Cloud Monitoring中创建告警规则，当实例数量超过配置的1个时立即触发通知，及时发现并干预异常扩容。
• 联系官方支持：若排查后确认是平台侧问题且频繁发生，提交Google Cloud支持工单，请求团队协助排查底层原因。

内容的提问来源于stack exchange，提问作者maccer