Kafka连接器无法解析Kubernetes中的数据库凭证问题排查

问题现象 #

部署Debezium Postgres源连接器时，不管用Strimzi的KubernetesSecretConfigProvider还是Apache的EnvVarConfigProvider，配置里的动态占位符（比如${secrets:...}或${env:...}）都没被正确解析，直接以原始字符串传给Postgres，导致认证失败：

• 错误日志显示认证用户是${secrets:secret-name:username}或${env:PG_USERNAME}，不是实际的用户名
• Postgres日志明确显示初始连接测试能拿到正确用户名，但实际任务执行时就解析失败
• 手动提交配置时，多打一个闭合大括号（比如${env:PG_USERNAME}}），会解析出user123}，说明有部分解析逻辑，但没完全生效

涉及配置示例 #

1. 使用KubernetesSecretConfigProvider的场景

KafkaConnect配置：

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
<...>
config:
    config.providers: secrets
    config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
<...>

KafkaConnector配置：

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
<...>
spec:
  class: io.debezium.connector.postgresql.PostgresConnector
  tasksMax: 1
  config:
    database.password: "${secrets:namespace-name/secret-name:password}"
    database.user: "${secrets:namespace-name/secret-name:username}"
<...>

2. 使用EnvVarConfigProvider的场景

KafkaConnect配置：

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
<...>
  config:
    config.providers: env
    config.providers.env.class: org.apache.kafka.common.config.provider.EnvVarConfigProvider
<...>
  externalConfiguration:
    env:
      - name: PG_USERNAME
        valueFrom:
          secretKeyRef:
            name: secret-name
            key: username
      - name: PG_PASSWORD
        valueFrom:
          secretKeyRef:
            name: secret-name
            key: password

KafkaConnector配置：

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
<...>
spec:
  class: io.debezium.connector.postgresql.PostgresConnector
  tasksMax: 1
  config:
    database.password: "${env:PG_PASSWORD}"
    database.user: "${env:PG_USERNAME}"
<...>

问题根因 #

从现象反推，核心问题是配置解析的时机和范围不匹配：

1. Debezium的初始连接验证（validateConnection）用的是Kafka Connect层面已经解析后的配置，但实际任务运行时，连接器内部可能重新读取了原始配置字符串，没经过配置提供者的二次解析
2. Helm部署时的模板渲染可能把${...}转义成了\${...}，导致Kafka Connect识别不出这是配置占位符，直接当作普通字符串处理
3. 使用KubernetesSecretConfigProvider时，Kafka Connect的ServiceAccount没有读取对应Secret的权限，提供者静默失败，直接返回原始占位符

解决方法 #

方法1：调整配置提供者参数，确保全阶段解析 #

针对Strimzi的Secret提供者，在KafkaConnect配置里添加prefix参数，强制覆盖所有配置字段的解析：

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
<...>
config:
    config.providers: secrets
    config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
    config.providers.secrets.param.prefix: ""  # 新增此行，取消前缀限制
<...>

如果用EnvVar提供者，先验证环境变量是否真的注入到Pod里：

kubectl exec <kafka-connect-pod-name> -- env | grep PG_

要是变量不存在，检查externalConfiguration的配置是否正确，有没有部署到正确的命名空间。

方法2：绕过连接器内部解析，直接用环境变量注入 #

让Debezium直接读取Kafka Connect Pod的环境变量，不用通过Connector配置传递占位符：

1. 修改KafkaConnect的externalConfiguration，把凭证注入为环境变量：

externalConfiguration:
  env:
    - name: DATABASE_USER
      valueFrom:
        secretKeyRef:
          name: secret-name
          key: username
    - name: DATABASE_PASSWORD
      valueFrom:
        secretKeyRef:
          name: secret-name
          key: password

2. 修改Connector配置，直接省略database.user和database.password，Debezium会自动读取同名的大写下划线格式环境变量；或者也可以这样写：

spec:
  class: io.debezium.connector.postgresql.PostgresConnector
  tasksMax: 1
  config:
    database.user: "${env:DATABASE_USER}"
    database.password: "${env:DATABASE_PASSWORD}"

方法3：修复Helm模板的转义问题 #

如果用Helm部署，检查模板里的配置渲染逻辑：

• 要是模板里用了{{ .Values.connector.config | quote }}，会把${...}转义成\${...}，导致占位符失效。改成用squote或者直接输出原始字符串：

config:
  database.user: {{ .Values.database.user | squote }}

• 在values.yaml里直接写原始占位符字符串，不要加额外转义：

database:
  user: "${secrets:namespace-name/secret-name:username}"

方法4：给Kafka Connect授权读取Secret #

如果用KubernetesSecretConfigProvider，必须给Kafka Connect的ServiceAccount配置读取对应Secret的权限：

# 创建Role，允许读取指定Secret
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: secret-reader
  namespace: namespace-name
rules:
- apiGroups: [""]
  resources: ["secrets"]
  resourceNames: ["secret-name"]
  verbs: ["get"]
---
# 绑定Role到Kafka Connect的ServiceAccount
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: connect-secret-reader
  namespace: namespace-name
subjects:
- kind: ServiceAccount
  name: strimzi-connect-cluster  # 替换成你的Kafka Connect ServiceAccount名称
  namespace: namespace-name
roleRef:
  kind: Role
  name: secret-reader
  apiGroup: rbac.authorization.k8s.io

验证步骤 #

1. 重启Kafka Connect集群，让新配置生效
2. 查看Kafka Connect Pod日志，确认配置提供者加载成功：

kubectl logs <kafka-connect-pod-name> | grep ConfigProvider

3. 查看Postgres日志，确认认证请求里的用户名是实际值，不再是占位符字符串

内容的提问来源于stack exchange，提问作者Simba