Azure容器应用故障两日自愈，求原因排查与生产环境应对方案

故障场景回顾 #

• 非生产环境部署6个Web API容器应用（同属一个资源组），关联另一资源组内的单个托管环境和容器应用注册表；生产环境仅部署1个同架构容器应用
• 无任何主动部署/变更操作的情况下，所有容器应用突发异常：无法部署、门户访问持续加载、执行az containerapp show ...返回Internal server error occurred
• 尝试删除资源重建失败（容器应用、托管环境均无法删除）
• 故障持续至周末后自动恢复

可能的故障原因 #

1. Azure服务级临时波动：Azure Container Apps的控制面或底层节点集群偶尔会出现区域性临时故障，这类问题通常由Azure后台自动修复，符合本次“自愈”的特征
2. 托管环境资源限制触发：即使无主动变更，托管环境可能因后台资源调度（如节点资源耗尽、网络策略临时冲突）进入异常状态，导致所有关联容器应用无法正常交互
3. 元数据同步异常：控制面与数据面的元数据同步出现临时中断，引发CLI、门户访问失败，且资源删除操作因元数据锁无法执行

预防措施 #

• 规避单点风险：生产环境不要依赖单一托管环境，可将应用拆分至同一区域的多个托管环境，或跨区域部署
• 完善监控告警：
  • 启用Azure Monitor监控容器应用的可用性、响应时间、错误日志
  • 设置告警规则：针对az containerapp show执行失败、容器重启次数激增、门户访问超时等场景触发告警
• 定期验证操作通道：每周在非生产环境执行一次资源删除/重建测试，确保紧急情况下资源操作通道正常
• 提前申请配额：向Azure申请托管环境的节点资源配额扩容，避免后台资源波动触发限制

生产环境灾难性故障恢复方案 #

1. 紧急流量切换：若生产环境有多实例/多区域部署，立即通过Azure Traffic Manager或应用网关将流量切至健康实例/区域
2. 资源迁移隔离：若单个托管环境故障且无法删除，直接将健康容器应用重新部署到新创建的托管环境，绕过故障环境
3. 提交紧急支持工单：一旦故障无法自愈，立即提交P1级别支持工单，提供以下信息加速排查：
   • 容器应用、托管环境的资源ID
   • 故障发生的时间范围
   • az containerapp show等命令的完整错误输出
   • 门户访问异常的截图
4. 快速重建应用：提前备份容器应用的配置（环境变量、Ingress规则等），故障时直接用备份配置在新资源组/托管环境快速重建应用

内容的提问来源于stack exchange，提问作者Chris Stephens