AKS集群中触发Pod内部重启时如何避免服务Downtime？

• 两个应用（API服务、事件队列监听器）共享Redis缓存，当外部服务修改Redis中某时间戳键时，需重启所有相关Pod
• 当前实现：检测到时间戳过期时直接执行exit(0)，K8s会重建Pod，但Pod启动耗时10-30秒，导致短暂服务中断
• 约束条件：无法修改外部服务使其发送请求/事件；Pod启动时间已优化至极限；集群运行于AKS；应用支持多Pod部署，已配置自动扩缩容（最多20个Pod）；可新增监控缓存的辅助Pod

方案1：K8s原生滚动更新 + Redis触发的Annotation更新 #

利用K8s Deployment的滚动更新机制，通过辅助Pod监听Redis键变化，触发Deployment的滚动更新，实现先启动新Pod再终止旧Pod，完全消除downtime。

实现步骤： #

1. 部署Redis监控辅助Pod，该Pod持续监听目标时间戳键，一旦检测到键值修改，执行以下命令触发滚动更新（需给辅助Pod配置K8s API访问权限）：

# 触发API应用Deployment滚动更新
kubectl patch deployment api-deployment -p "{\"spec\":{\"template\":{\"metadata\":{\"annotations\":{\"cache-restart-trigger\":\"$(date +%s)\"}}}}"

# 触发事件队列监听器应用Deployment滚动更新
kubectl patch deployment listener-deployment -p "{\"spec\":{\"template\":{\"metadata\":{\"annotations\":{\"cache-restart-trigger\":\"$(date +%s)\"}}}}"

2. 确保Deployment的滚动策略配置为零中断模式：

spec:
  strategy:
    rollingUpdate:
      maxSurge: 25%  # 允许最多新增25%的Pod，可根据集群资源调整
      maxUnavailable: 0  # 不允许任何Pod不可用
    type: RollingUpdate

该方案优势：完全依赖K8s原生能力，业务应用无需修改复杂逻辑，所有重启控制集中在辅助Pod，避免多Pod同时触发重启的混乱。

方案2：分布式锁控制有序退出 + PodDisruptionBudget #

如果不想新增辅助Pod，可通过Redis分布式锁确保同一时间仅一个Pod触发退出，配合PodDisruptionBudget（PDB）保障服务最低可用数量。

实现步骤： #

1. 配置PDB，确保服务始终有足够Pod可用：

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: api-pdb
spec:
  minAvailable: 80%  # 至少保留80%的Pod在线，可根据业务调整
  selector:
    matchLabels:
      app: api

2. 修改应用内的检测退出逻辑，用RedisSETNX实现分布式锁：

import redis

cache = redis.Redis(host='redis-host', port=6379, db=0)

def is_cache_outdated():
    # 此处替换为实际的时间戳检测逻辑
    return out_of_date

def trigger_orderly_restart():
    lock_key = "cache_restart_lock"
    # 获取锁，有效期设为覆盖一次滚动重启的时长（如5分钟）
    if cache.set(lock_key, "active", ex=300, nx=True):
        # 锁获取成功，当前Pod退出触发重建
        exit(0)
    # 锁已被其他Pod持有，当前Pod继续正常服务
    return

if is_cache_outdated():
    trigger_orderly_restart()

该方案中，第一个获取锁的Pod退出后，K8s启动新Pod；锁过期后，若仍有旧Pod未重启，下一个检测到过期的Pod会获取锁并退出，逐步完成所有Pod更新，PDB确保服务不会因重启中断。

方案3：缓存热重载（最优，若业务支持） #

如果无需重启Pod，仅需更新缓存数据，可修改应用逻辑实现热重载，彻底避免Pod重启：

def reload_cache():
    # 此处替换为实际的缓存重新加载逻辑
    global cached_config
    cached_config = cache.get("latest_config")

if is_cache_outdated():
    reload_cache()

该方案完全消除downtime，但要求业务代码支持缓存的热加载，无需重启进程即可刷新数据。

内容的提问来源于stack exchange，提问作者ic_fl2