如何从K8s集群外部的gRPC客户端连接集群内部gRPC服务
你当前可以通过Postman访问的http://cluster1.example.com/api/v1/namespaces/default/services/my-service:9080/proxy,本质是K8s API Server提供的HTTP/1.1反向代理通道,没法直接把这个地址塞给grpc.Dial当连接目标——毕竟9080是gRPC-gateway的REST端口,本身不支持gRPC依赖的HTTP/2双向流通信,要实现本地K8s外的gRPC客户端直连集群内的gRPC服务,可以直接按下面三个可落地的方案写代码:
这个方案不用改集群内的任何部署,直接复用你已经验证过的可访问链路就行:只要把代理路径里的服务端口从9080替换成你gRPC server监听的9000,K8s API Server就会把流量直接转发到集群内的原生gRPC服务。
因为gRPC默认发送的请求路径是/<protobuf包名>.<服务名>/<方法名>,和K8s代理要求的固定路径前缀不匹配,所以不能直接填API Server的地址硬连,需要给gRPC加自定义拨号器,给所有请求的路径拼上K8s要求的代理前缀,代码如下:
import ( "context" "net" "net/url" "google.golang.org/grpc" "google.golang.org/grpc/credentials/insecure" "golang.org/x/net/http2" ) // K8s代理的固定访问前缀,把端口换成9000 const proxyPath = "/api/v1/namespaces/default/services/my-service:9000/proxy" // 自定义拨号逻辑,走HTTP/2通道连K8s API Server proxyDialer := func(ctx context.Context, target string) (net.Conn, error) { endpoint := url.URL{ Scheme: "http", Host: "cluster1.example.com", // 你已经在Postman里验证过能访问的API Server地址 Path: proxyPath, } return http2.NewClientConn(endpoint.String(), http2.Transport{}) } conn, err := grpc.Dial( "any-placeholder-target", // 占位用的target,不实际生效 grpc.WithContextDialer(proxyDialer), // 替换旧版的grpc.WithInsecure(),新版grpc-go推荐用这个写法 grpc.WithTransportCredentials(insecure.NewCredentials()), ) if err != nil { panic(err) }
注意:如果你的K8s API Server开启了认证(比如需要Bearer Token),需要在自定义拨号器的请求头里补上对应的认证字段,否则会被API Server直接拦截返回401错误。
如果只是临时本地调试服务,完全不用写复杂的自定义拨号逻辑,直接用kubectl的端口转发能力把集群里的9000端口映射到本地就行:
- 先在本地终端执行端口转发命令:
kubectl port-forward services/my-service 9000:9000 -n default - 等通道建立后,gRPC客户端直接连本地映射的端口即可,所有gRPC特性(比如双向流、拦截器)都能正常工作,dial代码甚至不用改:
conn, err := grpc.Dial("localhost:9000", grpc.WithTransportCredentials(insecure.NewCredentials())) if err != nil { panic(err) }
如果需要长期从本地/外部客户端稳定访问gRPC服务,不要依赖临时代理或者API Server的临时转发能力,直接给gRPC的9000端口配置对外暴露的固定入口:
- 可以把承载gRPC服务的K8s Service改成
LoadBalancer、NodePort类型,或者配置支持HTTP/2的Ingress规则 - 等服务拿到固定的外部访问地址后,直接把这个地址填进
grpc.Dial的参数就行,和你本地部署的gRPC服务用法完全一致,例如:
conn, err := grpc.Dial("grpc.my-service.example.com:443", grpc.WithTransportCredentials(insecure.NewCredentials())) if err != nil { panic(err) }
常见踩坑提醒
- 绝对不要尝试把gRPC客户端连到9080端口的gateway地址上:这个端口只处理HTTP/1.1的REST请求,不支持gRPC的原生HTTP/2协议,连过去会直接握手失败。如果要复用9080端口的网关能力,需要直接写HTTP客户端调它暴露的REST接口,根本不需要用到
grpc.Dial的逻辑。 - 旧版grpc-go提供的
grpc.WithInsecure()方法已经被官方标记为废弃,生产环境尽量替换为grpc.WithTransportCredentials(insecure.NewCredentials())的写法,避免版本兼容问题。 - 走K8s API Server代理的时候,要确认API Server的配置没有禁用长连接、强制升级HTTP/2的能力,否则gRPC的双向流传输会被意外断开。
内容的提问来源于stack exchange,提问作者Klimbo

