K3s集群中GRPC服务容错问题：能否调整LoadBalancer实现自动重连？

可以通过调整Kubernetes Service配置、优化K3s组件参数，结合gRPC客户端适配配置，实现故障场景下的自动路由，避免客户端重启。以下是具体实施方案：

1. 优化LoadBalancer Service与Pod健康检查 #

关闭会话亲和性 #

默认LoadBalancer服务可能启用客户端IP会话亲和，导致故障后流量仍被路由至失效节点/Pod。关闭该特性让流量均匀分发到可用后端：

apiVersion: v1
kind: Service
metadata:
  name: edge-server-lb
spec:
  type: LoadBalancer
  sessionAffinity: None  # 关闭会话绑定，允许流量切换到可用Pod
  selector:
    app: edge-server
  ports:
    - port: 50051
      targetPort: 50051

添加gRPC专属健康检查 #

为Edge Server Pod配置readinessProbe和livenessProbe，让K3s能快速识别故障Pod并从Service后端池中剔除。Kubernetes 1.24+原生支持gRPC探针：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: edge-server
spec:
  replicas: 3
  selector:
    matchLabels:
      app: edge-server
  template:
    metadata:
      labels:
        app: edge-server
    spec:
      containers:
      - name: edge-server
        image: your-edge-server-image:tag
        ports:
        - containerPort: 50051
        readinessProbe:
          grpc:
            port: 50051
          initialDelaySeconds: 5  # 启动后5秒开始检测就绪状态
          periodSeconds: 10       # 每10秒检测一次
        livenessProbe:
          grpc:
            port: 50051
          initialDelaySeconds: 15 # 启动后15秒开始检测存活状态
          periodSeconds: 30       # 每30秒检测一次

2. 切换K3s kube-proxy至IPVS模式 #

K3s默认kube-proxy使用iptables模式，IPVS模式具备更快的故障感知与路由切换能力，适合高可用场景：

• 重启K3s master节点时添加启动参数：

  k3s server --kube-proxy-arg proxy-mode=ipvs
  

• 若为已有集群，可修改kube-proxy ConfigMap，添加proxy-mode: ipvs配置后重启kube-proxy Pod。

3. 客户端侧gRPC配置优化 #

仅靠集群侧配置不足以完全避免连接中断，需在客户端配置自动重连与负载均衡策略：

以Go语言客户端为例：

import (
  "time"
  "google.golang.org/grpc"
  "google.golang.org/grpc/keepalive"
  "google.golang.org/grpc/balancer/roundrobin"
)

func NewEdgeServerClient() (*grpc.ClientConn, error) {
  dialOpts := []grpc.DialOption{
    // 启用轮询负载均衡，客户端会自动感知后端Pod变化
    grpc.WithBalancerName(roundrobin.Name),
    // 配置KeepAlive参数，检测失效连接并重建
    grpc.WithKeepaliveParams(keepalive.ClientParameters{
      Time:                30 * time.Second,  // 每30秒发送心跳
      Timeout:             5 * time.Second,   // 心跳超时判定连接失效
      PermitWithoutStream: true,              // 无数据流时仍允许发送心跳
    }),
    // 可选：配置请求重试策略
    grpc.WithDefaultCallOptions(grpc.MaxCallRecvMsgSize(10*1024*1024)),
  }
  // 连接LoadBalancer服务地址
  return grpc.Dial("your-loadbalancer-ip:50051", grpc.WithInsecure(), dialOpts...)
}

4. 额外优化建议 #

• 确保Edge Server实现gRPC健康检查接口（grpc.health.v1.Health），否则探针无法正常工作；若无法修改服务代码，可改用TCP探针替代。
• 调整K3s的node-monitor-grace-period与pod-eviction-timeout参数，加快节点故障后的Pod驱逐速度，进一步降低中断时间。

内容的提问来源于stack exchange，提问作者Johnney