基于Bot Framework的Teams SSO Bot在K8S HPA多Pod下重复响应问题咨询

问题根因 #

当HPA扩容至2个以上Pod时出现重复响应，核心原因有两点：

• 负载均衡无会话粘滞：K8S Service默认轮询策略，同一条用户对话消息被分发至多个Pod，每个Pod独立处理并返回响应。
• 本地内存状态隔离：Bot默认使用MemoryStorage存储对话状态，每个Pod维护独立的状态副本，无法识别消息已被其他Pod处理，导致重复响应。

分步解决方案 #

1. 配置分布式对话状态存储（核心） #

替换本地内存存储为分布式存储，让所有Pod共享对话状态，从根源避免状态隔离导致的重复处理：

• 可选存储方案：Azure Cosmos DB、Redis、SQL Server
• 以Redis为例，修改Bot代码中的存储配置：

// 初始化Redis存储
var redisConnString = "your-redis-service-connection-string";
var redisConfig = new RedisConfiguration(redisConnString);
var distributedStorage = new RedisStorage(redisConfig);

// 替换原有的MemoryStorage
var conversationState = new ConversationState(distributedStorage);
var userState = new UserState(distributedStorage);

2. 添加消息幂等性校验 #

在Bot业务逻辑中加入消息ID校验，确保同一条消息仅被处理一次：

public async Task OnTurnAsync(ITurnContext turnContext, CancellationToken cancellationToken = default)
{
    var messageId = turnContext.Activity.Id;
    // 从分布式存储查询消息是否已处理
    var processedFlag = await _distributedCache.GetStringAsync($"processed_{messageId}");
    
    if (!string.IsNullOrEmpty(processedFlag))
    {
        return; // 跳过已处理的消息
    }

    // 执行消息处理逻辑
    await turnContext.SendActivityAsync("您的请求已处理");

    // 标记消息为已处理（设置过期时间，避免存储冗余）
    await _distributedCache.SetStringAsync($"processed_{messageId}", "true", new DistributedCacheEntryOptions
    {
        AbsoluteExpirationRelativeToNow = TimeSpan.FromHours(24)
    });
}

3. 配置K8S服务会话粘滞 #

为Bot Service启用ClientIP会话亲和性，确保同一用户的对话消息路由至同一Pod：

apiVersion: v1
kind: Service
metadata:
  name: bot-service
spec:
  selector:
    app: your-bot-app
  ports:
    - protocol: TCP
      port: 443
      targetPort: 3978 # Bot监听端口
  sessionAffinity: ClientIP
  sessionAffinityConfig:
    clientIP:
      timeoutSeconds: 3600 # 会话粘滞超时1小时

注意：若用户网络存在NAT场景，ClientIP可能不稳定，需结合分布式存储方案使用。

4. 优化HPA扩容策略 #

调整HPA配置，避免频繁扩容缩容导致的Pod波动：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: bot-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: bot-deployment
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 75 # CPU使用率达75%时扩容
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: 80 # 内存使用率达80%时扩容
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300 # 缩容前等待5分钟，避免误操作

方案优先级 #

优先实施分布式状态存储+消息幂等性校验，这是解决重复响应的核心；会话粘滞和HPA优化作为辅助手段，提升部署稳定性。

内容的提问来源于stack exchange，提问作者Alex Chiu