AKS集成Keda问题：任务执行中Pod被删致工作流失败

当Keda基于Azure DevOps队列自动扩缩代理Pod时，若Pod在执行任务过程中被强制删除，核心原因是Keda的缩容逻辑未感知到Pod正处于忙碌状态，直接触发了Pod删除操作。以下是针对性的解决措施：

1. 调整Keda缩容策略，增加延迟与优雅终止时间 #

在Keda的ScaledObject配置中，添加缩容冷却期和优雅终止配置，确保Pod有足够时间完成当前任务：

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: aks-linux-scaler
spec:
  scaleTargetRef:
    name: aks-linux
  minReplicaCount: 1
  maxReplicaCount: 5
  cooldownPeriod: 300  # 缩容前等待5分钟，确保任务完成
  gracefulTerminationPeriod: 180  # 给Pod180秒优雅终止时间
  triggers:
  - type: azure-pipelines
    metadata:
      poolID: "<你的池ID>"
      organizationURL: "<你的Azure DevOps URL>"
      personalAccessToken: "<你的访问令牌>"
      queueLength: "1"
      includePending: "true"
      includeRunning: "true"  # 让Keda感知运行中的任务，避免缩容忙碌Pod

2. 给代理Pod添加任务状态探测 #

通过自定义探针检测Azure DevOps代理是否处于忙碌状态，Keda会等待探针状态就绪后再执行缩容。在Deployment的容器配置中添加：

livenessProbe:
  exec:
    command:
    - bash
    - -c
    - "curl -s http://localhost:8080/_apis/agentstatus | grep -q '\"status\":\"busy\"' || exit 1"
  initialDelaySeconds: 60
  periodSeconds: 30
readinessProbe:
  exec:
    command:
    - bash
    - -c
    - "curl -s http://localhost:8080/_apis/agentstatus | grep -q '\"status\":\"ready\"' || exit 1"
  initialDelaySeconds: 60
  periodSeconds: 15

注：需确保代理容器中安装了curl和grep工具，或根据实际代理状态接口调整探测命令。

3. 配置HPA缩容稳定窗口 #

在ScaledObject中添加HPA行为配置，避免Keda快速缩容：

horizontalPodAutoscalerConfig:
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300  # 缩容决策前等待5分钟，确保队列无新任务
      policies:
      - type: Percent
        value: 50
        periodSeconds: 60

4. 确保Deployment的优雅终止配置正确 #

在Deployment的容器中添加terminationGracePeriodSeconds，配合Keda的优雅终止设置：

containers:
- image: <你的镜像>
  name: aks-linux
  terminationGracePeriodSeconds: 180  # 与Keda的gracefulTerminationPeriod保持一致
  # 其他原有配置...

通过以上配置，Keda会优先等待Pod完成当前任务后再执行缩容操作，避免任务中途中断导致的代理失联报错。

内容的提问来源于stack exchange，提问作者Paul