AKS环境下Kafka Connect如何为每个连接器配置独立存储？

完全可以通过挂载PVC或自定义卷的方式实现同一Kafka Connect实例下每个连接器的独立存储需求，下面针对你尝试的两种方式给出具体的正确实践：

方式1：为每个连接器创建独立PVC #

这是持久化场景下最推荐的方案，能适配AKS的Azure存储服务（如Azure Disk、Azure Files），且数据隔离性强。

具体步骤：

1. 为每个连接器单独创建PVC配置文件，比如针对connector-1：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: connector-1-pvc
spec:
  accessModes:
    - ReadWriteOnce # 若需多Worker节点共享访问，改用ReadWriteMany（如Azure Files存储类）
  resources:
    requests:
      storage: 10Gi
  storageClassName: azurefile # 根据AKS集群的实际存储类调整，比如azuredisk

2. 修改Kafka Connect的Deployment配置，将这些PVC作为卷挂载到Pod的独立目录：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka-connect
spec:
  template:
    spec:
      volumes:
        - name: connector-1-storage
          persistentVolumeClaim:
            claimName: connector-1-pvc
        - name: connector-2-storage
          persistentVolumeClaim:
            claimName: connector-2-pvc
      containers:
        - name: kafka-connect
          image: confluentinc/cp-kafka-connect:latest
          volumeMounts:
            - name: connector-1-storage
              mountPath: /data/connector-1
            - name: connector-2-storage
              mountPath: /data/connector-2

3. 在连接器配置中指定对应的存储路径，以FileStreamSinkConnector为例：

{
  "name": "connector-1",
  "config": {
    "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
    "tasks.max": "1",
    "topics": "test-topic",
    "file": "/data/connector-1/output.txt"
  }
}

注意事项：

• 使用ReadWriteOnce类型PVC时，所有Kafka Connect Worker Pod会被调度到同一个节点；若需分布式多节点部署，必须选择支持ReadWriteMany的存储类。
• 每个连接器的挂载路径必须唯一，避免数据覆盖冲突。

方式2：通过共享卷的子目录实现隔离 #

如果不想创建多个PVC，也可以用一个共享PVC挂载到Connect Pod，再给每个连接器分配专属子目录：

1. 在Kafka Connect的Deployment中挂载一个共享PVC：

volumes:
  - name: shared-connect-storage
    persistentVolumeClaim:
      claimName: shared-connect-pvc
volumeMounts:
  - name: shared-connect-storage
    mountPath: /data/shared

2. 在连接器配置中指定专属子目录：

{
  "name": "connector-2",
  "config": {
    "connector.class": "com.example.CustomConnector",
    "tasks.max": "1",
    "topics": "test-topic-2",
    "storage.path": "/data/shared/connector-2"
  }
}

注意事项：

• 需自行保证各连接器的目录权限，避免数据互相篡改。
• 这种方式不适合需要单独扩容、备份的场景，数据隔离性弱于独立PVC方案。

验证方法 #

创建连接器后，可进入Connect Pod检查存储目录的读写状态：

kubectl exec -it <kafka-connect-pod-name> -- ls /data/connector-1
kubectl exec -it <kafka-connect-pod-name> -- cat /data/connector-1/output.txt

内容的提问来源于stack exchange，提问作者Rama Jadhav