Python编写的Kubernetes MutatingWebhook无法添加Pod标签问题

核心问题 #

错误提示dial tcp 10.3.33.250:443: connect: connection refused说明Kubernetes API服务器无法建立到Webhook服务的TCP连接，本质是Webhook服务未正常监听端口，或网络路径存在阻断。

排查与修复步骤 #

1. 检查Webhook Pod的容器运行日志 #

先查看Pod容器日志，确认Flask服务是否成功启动：

kubectl logs -l app=add-labels-webhook -n mutatingwh

常见错误场景：

• 权限不足绑定443端口：443是Linux特权端口，容器默认以非root用户运行时无法绑定，日志会出现OSError: [Errno 13] Permission denied类提示。
• TLS证书异常：日志出现SSLError相关内容，说明/tls/tls.crt或/tls/tls.key路径错误、文件缺失或证书格式无效。

2. 修复端口权限问题（最可能原因） #

将Flask监听端口改为非特权端口（如8443），避免权限限制：

• 修改Python代码的启动端口：

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8443, ssl_context=('/tls/tls.crt', '/tls/tls.key'), debug=True)

• 更新deployment.yaml的containerPort：

ports:
  - containerPort: 8443

• 更新service.yaml的targetPort：

ports:
  - port: 443
    targetPort: 8443

3. 验证TLS证书配置 #

确认webhook-tls Secret包含有效证书文件：

kubectl get secret webhook-tls -n mutatingwh -o jsonpath='{.data.tls\.crt}' | base64 -d
kubectl get secret webhook-tls -n mutatingwh -o jsonpath='{.data.tls\.key}' | base64 -d

确保证书和密钥内容有效，且容器内/tls路径下能正常访问这两个文件。

4. 验证Service与Pod的标签匹配 #

确认Service的selector与Pod的labels完全一致：

kubectl get pods -n mutatingwh --show-labels
kubectl get service add-labels-webhook-svc -n mutatingwh -o jsonpath='{.spec.selector}'

若标签不匹配，Service无法将流量转发到Pod。

5. 检查网络策略（若存在） #

如果mutatingwh namespace配置了网络策略，需确保允许Kubernetes API服务器（通常来自kube-system namespace或集群控制平面IP）访问Webhook服务的443端口。

6. 验证MutatingWebhookConfiguration的caBundle #

确认caBundle是签名Webhook TLS证书的CA公钥的base64编码值，否则API服务器会拒绝与Webhook建立TLS连接。

验证修复 #

重新构建Docker镜像并更新Deployment后，创建测试Pod验证：

kubectl run test-pod --image=nginx -n default
kubectl get pod test-pod -o jsonpath='{.metadata.labels}'

若返回结果包含live: true、environment: production等预期标签，说明Webhook正常工作。

内容的提问来源于stack exchange，提问作者Brian G