K8s PGO Operator网络异常与CrashLoopBack问题排查求助

问题场景 #

执行kubectl apply --server-side -k kustomize/install/default安装PGO Operator后，Pod启动后很快进入CrashLoopBack状态，先后出现两类错误：

第一阶段：K8s API Server连接超时 #

• 错误表现：Pod日志显示连接https://10.96.0.1:443超时，触发panic
• 关联异常：kube-flannel有2个Pod处于CrashLoopBack状态，仅1个正常运行

解决步骤

1. 优先修复集群网络问题：kube-flannel作为集群CNI插件，部分Pod异常会导致Pod与API Server的网络连通性故障。执行以下命令排查flannel异常原因：

   kubectl logs <flannel-pod-name> -n kube-system
   

   常见故障点包括：节点网络配置冲突、flannel镜像拉取失败、节点资源不足、CNI插件重叠等，根据日志修复后确保所有flannel Pod正常运行。
2. 验证网络连通性：在PGO Pod所在节点或同命名空间的测试Pod中，重新测试与API Server的连接，确保无超时问题。

第二阶段：RBAC权限缺失 #

• 错误表现：修复网络后，日志提示system:serviceaccount:postgres-operator:pgo账号无集群范围的poddisruptionbudgets.policy资源列表权限，导致缓存同步超时panic

解决步骤

1. 检查现有RBAC配置：查看postgres-operator命名空间下的ClusterRole、Role及绑定关系，确认是否遗漏poddisruptionbudgets.policy的权限：

   kubectl get clusterroles,clusterrolebindings -A | grep pgo
   kubectl get roles,rolebindings -n postgres-operator | grep pgo
   

2. 手动补充缺失权限：创建包含poddisruptionbudgets.policy权限的ClusterRole并绑定到pgo服务账号：

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: pgo-pdb-clusterrole
   rules:
   - apiGroups: ["policy"]
     resources: ["poddisruptionbudgets"]
     verbs: ["list", "get", "watch", "create", "update", "delete"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: pgo-pdb-clusterrolebinding
   subjects:
   - kind: ServiceAccount
     name: pgo
     namespace: postgres-operator
   roleRef:
     kind: ClusterRole
     name: pgo-pdb-clusterrole
     apiGroup: rbac.authorization.k8s.io
   

   将上述内容保存为文件后执行：

   kubectl apply -f pdb-rbac.yaml
   

3. 重置安装（可选）：如果是自定义kustomize配置导致RBAC资源不全，可重新使用官方默认的kustomize安装包，确保所有必要权限被正确部署。

获取更详细日志的方法 #

1. 调整PGO Operator日志级别：编辑Deployment添加调试级别的日志参数：

   kubectl edit deployment pgo -n postgres-operator
   

   在containers[0].args中添加--zap-log-level=debug（不同版本参数可能略有差异，可参考官方文档），保存后Pod会重启，此时查看日志可获取更详细的调试信息。
2. 查看Pod事件：执行以下命令获取Pod启动过程中的完整事件，排查潜在的资源限制、权限检查等细节：

   kubectl describe pod <pgo-pod-name> -n postgres-operator
   

内容的提问来源于stack exchange，提问作者user19238163