K8s重部署gRPC服务Pod时PHP ext-grpc连接失败的排查与修复

问题根因 #

• K8s滚动部署旧Pod时，kube-proxy的iptables/IPVS规则存在更新延迟，PHP客户端的gRPC连接池仍持有指向已销毁Pod的失效连接
• PHP ext-grpc默认的连接复用策略不会主动探测连接有效性，遇到失效连接直接抛出连接类错误（code=14）
• 旧Pod销毁前未完成优雅终止，新Pod就绪前就被加入服务端点，导致流量打到未就绪或已销毁的实例

PHP代码层面修复 #

1. 实现连接错误重试逻辑 #

针对gRPC的code=14连接类错误（连接拒绝、FD关闭等），添加幂等重试机制，搭配指数退避避免流量雪崩：

<?php
use Grpc\Exception;

/**
 * 带重试的gRPC调用封装
 * @param object $gRpcClient gRPC客户端实例
 * @param string $method 调用方法名
 * @param object $request 请求对象
 * @param int $maxRetries 最大重试次数
 * @return mixed gRPC响应
 * @throws Exception
 */
function grpcCallWithRetry($gRpcClient, string $method, $request, int $maxRetries = 3)
{
    $retryCount = 0;
    $backoffMs = 100; // 初始退避时间（毫秒）
    
    do {
        try {
            return $gRpcClient->$method($request);
        } catch (Exception $e) {
            // 仅重试连接类错误（code=14）
            if ($e->getCode() !== 14) {
                throw $e;
            }
            
            $retryCount++;
            if ($retryCount > $maxRetries) {
                throw $e;
            }
            
            // 指数退避，上限2秒
            usleep($backoffMs * 1000);
            $backoffMs = min($backoffMs * 2, 2000);
        }
    } while ($retryCount <= $maxRetries);
}

2. 配置客户端连接存活探测 #

在创建gRPC客户端时，设置keepalive参数，主动探测连接有效性并自动回收旧连接：

<?php
$grpcOpts = [
    'grpc.keepalive_time_ms' => 30000, // 每30秒发送一次keepalive探测
    'grpc.keepalive_timeout_ms' => 5000, // 探测超时5秒
    'grpc.keepalive_permit_without_calls' => 1, // 允许向空闲连接发送探测
    'grpc.max_connection_age_ms' => 600000, // 连接最大存活10分钟，到期自动销毁
];

$client = new YourGrpcClient('service-ip:port', [
    'credentials' => Grpc\ChannelCredentials::createInsecure(),
    'grpc.options' => $grpcOpts,
]);

ext-grpc扩展层面配置 #

修改php.ini文件，全局配置gRPC连接参数，避免所有客户端重复配置：

; 全局开启keepalive探测
grpc.keepalive_time_ms=30000
grpc.keepalive_timeout_ms=5000
grpc.keepalive_permit_without_calls=1
; 连接最大存活时间，自动回收旧连接
grpc.max_connection_age_ms=600000
; 连接最大空闲时间，回收长期空闲连接
grpc.max_connection_idle_ms=300000

K8s集群层面规避方案 #

1. 配置Pod优雅终止与就绪探针 #

确保新Pod完全就绪后才接收流量，旧Pod销毁前先停止接收流量并处理完现有请求：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: grpc-service
spec:
  replicas: 2
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0 # 滚动部署时保证至少有一个可用Pod
  template:
    spec:
      containers:
      - name: grpc-server
        image: your-grpc-image:tag
        ports:
        - containerPort: 50051
        # gRPC就绪探针，验证服务是否可处理请求
        readinessProbe:
          grpc:
            port: 50051
          initialDelaySeconds: 5
          periodSeconds: 5
        # gRPC存活探针，验证服务是否正常运行
        livenessProbe:
          grpc:
            port: 50051
          initialDelaySeconds: 10
          periodSeconds: 10
        # 预停止钩子，给kube-proxy留时间更新规则
        lifecycle:
          preStop:
            exec:
              command: ["/bin/sh", "-c", "sleep 10"]
      terminationGracePeriodSeconds: 30 # 优雅终止超时时间

2. 优化kube-proxy配置 #

如果使用iptables模式，切换为IPVS模式（规则更新更快）；或开启连接跟踪清理：

# 切换kube-proxy到IPVS模式（需要集群支持）
kubectl edit configmap kube-proxy -n kube-system
# 修改mode字段为ipvs

3. Golang gRPC服务优雅退出 #

在服务端实现优雅退出逻辑，收到终止信号后停止接收新请求，处理完现有请求再退出：

package main

import (
    "log"
    "net"
    "os"
    "os/signal"
    "syscall"

    "google.golang.org/grpc"
    pb "your/proto/path"
)

type server struct {
    pb.UnimplementedYourServiceServer
}

func main() {
    lis, err := net.Listen("tcp", ":50051")
    if err != nil {
        log.Fatalf("failed to listen: %v", err)
    }
    s := grpc.NewServer()
    pb.RegisterYourServiceServer(s, &server{})

    // 捕获终止信号
    quit := make(chan os.Signal, 1)
    signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM)
    go func() {
        <-quit
        log.Println("Shutting down gRPC server gracefully...")
        s.GracefulStop()
    }()

    log.Println("gRPC server started on :50051")
    if err := s.Serve(lis); err != nil && err != grpc.ErrServerStopped {
        log.Fatalf("failed to serve: %v", err)
    }
    log.Println("gRPC server exited")
}

内容的提问来源于stack exchange，提问作者Senjōgahara rea