如何配置Kubernetes中每个Pod单独消费Kafka Topic的指定分区

不需要创建5个独立的Deployment，目前最优的生产可用方案就是使用StatefulSet绑定Pod序号与Kafka分区，该方案的稳定性和可靠性完全满足生产环境要求。

• 5个独立Deployment的方案完全不可取：5份完全重复的配置会导致后续版本升级、参数调整、故障排查的成本成倍上升，一旦出现配置不一致的问题还会引发消费逻辑错乱，完全没有维护价值。
• StatefulSet方案是原生最优解：StatefulSet的核心特性就是会为每个Pod分配永久不变的有序索引（从0开始递增），只要StatefulSet不被删除，Pod无论重启、重建多少次，对应的索引都不会发生变化，完全满足分区绑定的需求。

1. 配置StatefulSet注入Pod标识 #

通过Kubernetes内置的Downward API将Pod名称注入到容器环境变量，你只需要在StatefulSet的Pod模板中添加如下环境变量配置即可：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka-consumer
spec:
  replicas: 5
  serviceName: "kafka-consumer-svc" # 可以是一个无ClusterIP的Headless Service
  template:
    spec:
      containers:
      - name: consumer
        image: your-consumer-image:latest
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name

2. 消费逻辑中绑定分区 #

代码中读取POD_NAME环境变量，提取字符串末尾的数字序号（比如kafka-consumer-2对应的序号就是2），直接调用Kafka消费者的assign()方法手动指定消费对应序号的分区即可，不要使用消费者组默认的subscribe()方法，避免触发自动分区再均衡。

StatefulSet是Kubernetes最早进入GA的核心工作负载API之一，已经在全球生产环境大规模落地超过7年，稳定标识的特性是Kubernetes控制平面原生保证的，不存在稳定性风险。
该方案相比其他自定义分区分配的方案优势非常明显：

• 仅需要维护1份工作负载配置，后续维护成本极低
• 分区分配逻辑不需要依赖额外的中间件，没有额外的故障点
• 扩缩容只需要调整replicas值和Kafka分区数量匹配即可，适配性强

如果你有动态调整分区分配的需求，不想和Pod序号强绑定，也可以统一维护一张分区分配表存在ConfigMap或者配置中心中，所有Pod启动时根据自身的Pod名称/IP拉取对应的分配分区即可，但该方案需要额外维护分配规则，非必要不推荐使用。

内容的提问来源于stack exchange，提问作者casualprogrammer