ArangoDB Operator Pod在K8s中反复切换Running/CrashLoopBackOff状态排查

退出码137的核心指向 #

退出码137意味着进程被内核发送SIGKILL信号强制终止，主要关联两种场景：

• 容器触发了Pod级别的OOM：哪怕节点剩余内存充足，只要Pod自身的memory limit设置低于实际峰值内存消耗，就会被kubelet强制杀死
• 进程被运行时组件（kubelet/containerd）强制终止：可能和cgroup配置不一致、权限不足或运行时异常有关

已调资源仍无效的排查方向 #

你已经提升了CPU和内存资源，但需要确认几个容易忽略的点：

• 是不是把memory request和memory limit设成了同一个值？这种情况下容器被分配固定内存，峰值时直接触发OOM，建议给限制留20%-30%的缓冲空间
• 有没有查看Operator的实际内存峰值？ArangoDB Operator在处理集群事件（比如扩容、配置变更）时内存占用会突增，静态设置的资源限制可能跟不上实际需求

其他潜在根源 #

1. Containerd运行时配置问题 #

• Containerd的cgroup驱动和kubelet不一致：Ubuntu 22.04默认用systemd，要是两者驱动不匹配，会导致资源隔离失效，Pod的内存限制形同虚设
• vm.swappiness设为0：这种配置会让内核在内存紧张时直接杀进程，而非用交换分区缓冲，容易触发SIGKILL

2. ArangoDB Operator自身问题 #

• 探针配置不合理：存活/就绪探针的initialDelaySeconds太短，Operator还没启动完成就被判定失败，进而被重启
• RBAC权限不足：Operator没有足够权限访问Kubernetes API，进程启动失败后被反复重启
• 网络连通性问题：Flannel CNI的Pod间通信规则异常，导致Operator无法访问自身监听端口或Kubernetes API Server

3. 节点资源隔离异常 #

• 节点存在严重内存碎片：表面剩余内存充足，但无法分配连续内存块给容器，导致进程启动失败
• kubelet或containerd运行异常：比如cgroup层级损坏，导致资源限制不生效

1. 精准定位内存消耗 #

• 用kubectl top pod <operator-pod-name>查看实时内存占用（需要先部署metrics-server），确定实际峰值后再调整memory limit
• 检查节点OOM日志：执行dmesg | grep -i oom，确认是否有针对该Pod的OOM记录，哪怕节点内存充足，Pod级别的OOM也会被记录在这里

2. 修正Containerd配置 #

• 确保cgroup驱动和kubelet一致：编辑/etc/containerd/config.toml，修改以下配置：

  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
    runtime_type = "io.containerd.runc.v2"
    [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
      SystemdCgroup = true
  

  然后重启containerd：systemctl restart containerd
• 调整节点swap策略：在/etc/sysctl.conf添加vm.swappiness=10，执行sysctl -p生效，允许内核用交换分区缓冲内存压力

3. 优化Operator探针与权限 #

• 调整探针参数：把initialDelaySeconds设为30，periodSeconds设为10，给Operator足够的启动时间
• 验证RBAC权限：检查ArangoDB Operator的ClusterRole是否包含deployments.apps、pods、persistentvolumeclaims、arangodbclusters.arangodb.com等资源的完整读写权限
• 测试网络连通性：在Operator Pod内执行curl -k https://kubernetes.default，确认能正常访问Kubernetes API

4. 节点层面修复 #

• 临时清理内存碎片：执行sync && echo 3 > /proc/sys/vm/drop_caches（生产环境需谨慎，仅临时生效）
• 重启kubelet和containerd：systemctl restart kubelet containerd，修复可能的运行时异常

内容的提问来源于stack exchange，提问作者Raphael10