K3s全Server节点高可用集群混合环境负载均衡部署咨询

核心架构方向 #

负载均衡器必须部署在K3s集群前端，作为所有外部流量（API-Server请求、443端口Web服务）的统一入口，同时适配本地和云环境的不同基础设施特性。

分场景部署方案 #

1. 本地（On-prem）环境 #

• 负载均衡器选型：优先用HAProxy（更适配TCP/UDP负载均衡场景），可部署在独立节点（避免单点故障）；若没有独立节点，可在K3s Server节点上搭配Keepalived实现高可用VIP漂移。
• 端口转发配置：
  • 6443端口：TCP层转发到所有K3s Server节点的6443端口（API-Server端口），配置TCP握手健康检查。
  • 443端口：转发到K3s集群内Ingress Controller的端口（默认Traefik的NodePort或ClusterIP），HTTP/HTTPS服务可配置七层负载均衡实现路径转发。
• HAProxy配置片段示例：

  frontend k3s-api
      bind *:6443
      mode tcp
      default_backend k3s-server-nodes
  
  backend k3s-server-nodes
      mode tcp
      balance roundrobin
      server server1 192.168.1.10:6443 check
      server server2 192.168.1.11:6443 check
      server server3 192.168.1.12:6443 check
  
  frontend web-services
      bind *:443
      mode tcp
      default_backend k3s-ingress
  
  backend k3s-ingress
      mode tcp
      balance roundrobin
      server server1 192.168.1.10:30001 check  # 替换为Traefik实际NodePort
      server server2 192.168.1.11:30001 check
      server server3 192.168.1.12:30001 check
  

• 高可用增强：用Keepalived为LB节点配置虚拟IP（VIP），客户端直接访问VIP，主LB故障时自动切换到备节点。

2. 云环境 #

• 负载均衡器选型：直接使用云厂商托管负载均衡器（如AWS NLB/ALB、Azure Standard LB、GCP Cloud LB），无需自行维护节点，自带高可用与弹性扩容能力。
• 端口转发配置：
  • 6443端口：创建TCP监听，后端绑定所有K3s Server节点的6443端口，配置TCP或/healthz路径的健康检查。
  • 443端口：创建HTTPS监听（可绑定云托管SSL证书），后端关联K3s Ingress Controller的NodePort；若用七层LB，可直接配置路径规则转发到集群内具体服务。
• 优势：云LB自动适配云平台网络规则，支持跨AZ故障转移，完全兼容云生态。

K3s集群配置要点 #

• 安装纯Server节点时，添加--disable-agent参数禁用Worker功能：

  # 初始Server节点（通过LB加入集群，后续节点复用此命令）
  curl -sfL https://get.k3s.io | K3S_TOKEN=your_cluster_token sh -s - server --disable-agent --server https://<LB-IP>:6443
  

• 所有K3s Server节点通过LB的6443端口加入集群，避免依赖单个节点，提升集群可用性。
• 确保Ingress Controller（默认Traefik）正常运行，通过NodePort/ClusterIP暴露服务供LB转发。

部署位置总结 #

• 本地环境：独立LB节点（或Keepalived+节点级LB） → K3s Server节点 → 集群服务
• 云环境：云托管LB → K3s Server节点 → 集群服务

内容的提问来源于stack exchange，提问作者Manoj Kumar Maharana