如何防止Kubernetes多Replica导致API Rate Limit总请求量被放大？

你的问题核心在于每个API Pod都内嵌了独立的Redis实例——每个Replica的限流请求计数都存在自己的Redis里，相当于每个实例各自维护一个10次/60秒的限额池，多开实例就多一个限额池，自然总请求量随实例数翻倍。要解决这个，必须让所有API实例共享同一个Redis来统一统计请求次数。

步骤1：单独部署共享Redis #

把原来和API打包在同一Pod的Redis拆出来，单独部署为K8s资源，让所有API实例共用这个Redis。

Redis Deployment配置（redis-deployment.yaml） #

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-server
  namespace: api
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis-server
  template:
    metadata:
      labels:
        app: redis-server
    spec:
      containers:
      - name: redis-stack
        image: redis/redis-stack-server:latest
        ports:
        - containerPort: 6379
        # 可选：添加持久化存储，避免Redis重启后限流计数丢失
        volumeMounts:
        - name: redis-data
          mountPath: /data
      volumes:
      - name: redis-data
        persistentVolumeClaim:
          claimName: redis-pvc

Redis持久化PVC配置（redis-pvc.yaml，可选但推荐） #

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: redis-pvc
  namespace: api
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi

Redis Service配置（redis-service.yaml） #

通过Service让API Pod能通过K8s DNS访问Redis：

apiVersion: v1
kind: Service
metadata:
  name: redis-service
  namespace: api
spec:
  selector:
    app: redis-server
  ports:
  - port: 6379
    targetPort: 6379

步骤2：修改API Deployment配置 #

移除原Pod内的Redis容器，添加环境变量指定共享Redis的地址（K8s内直接用Service名称作为域名）：

修改后的api-server Deployment.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-server
  labels:
    app: api-server
  namespace: api
spec:
  replicas: 2
  selector:
    matchLabels:
      app: api-server
  template:
    metadata:
      name: api-server
      labels:
        app: api-server
    spec:
      containers:
      - name: api-server
        image: {private_image}
        imagePullPolicy: Always
        ports:
        - name: api-access-port
          containerPort: 80
        # 配置Redis连接参数
        env:
        - name: REDIS_HOST
          value: "redis-service"
        - name: REDIS_PORT
          value: "6379"
      restartPolicy: Always

步骤3：调整FastAPI限流逻辑 #

确保限流代码使用共享Redis作为计数存储，而非本地内存或实例私有Redis。以slowapi配合redis为例：

首先安装依赖：

pip install slowapi redis limits

修改FastAPI代码：

from fastapi import FastAPI, Request
from slowapi import Limiter, _rate_limit_exceeded_handler
from slowapi.util import get_remote_address
from slowapi.errors import RateLimitExceeded
import redis
import os

app = FastAPI()

# 从环境变量获取Redis连接信息
redis_host = os.getenv("REDIS_HOST", "localhost")
redis_port = int(os.getenv("REDIS_PORT", 6379))

# 连接共享Redis
redis_conn = redis.Redis(host=redis_host, port=redis_port, db=0)

# 配置Redis作为限流存储
limiter = Limiter(
    key_func=get_remote_address,
    storage_uri=f"redis://{redis_host}:{redis_port}"
)
app.state.limiter = limiter
app.add_exception_handler(RateLimitExceeded, _rate_limit_exceeded_handler)

# 示例限流接口
@app.get("/data")
@limiter.limit("10/minute")
async def get_data(request: Request):
    return {"message": "success"}

验证效果 #

部署所有资源后，无论启动多少个API Replica，所有请求都会在共享Redis中统一统计计数，60秒内总请求量将被严格限制为10次，超出时返回429错误。

内容的提问来源于stack exchange，提问作者Timo