Kubernetes中所有Pod内存使用总和与节点内存使用不符（Datadog监控）

以下是导致两者数值差异的常见因素：

• Kubernetes系统组件内存消耗：节点上运行的kubelet、kube-proxy、containerd（或Docker）等核心组件，不属于任何业务Pod范畴，它们的内存占用不会被kubernetes.memory.usage指标统计，但会被system.mem.used纳入节点总内存使用量。
• 宿主机系统进程内存：节点操作系统自身的基础进程（如sshd、syslogd、crond等），这类进程的内存使用不会被Pod指标覆盖，却会被计算在节点总内存消耗中。
• 内存统计范围差异：
  • kubernetes.memory.usage通常统计的是Pod的RSS（常驻内存），但系统级的页缓存、文件缓存等可能未被完全纳入该指标；而system.mem.used包含了整个节点的缓存内存。
  • 跨Pod的共享内存段、容器间的共享库内存，可能只被节点统计一次，但不会重复计入每个Pod的内存使用，导致Pod总和小于节点总使用量。
• 指标采集时间偏差：kubernetes.memory.usage与system.mem.used的采集周期或时间点可能不一致，导致同一时间窗口的数值对比存在误差，尤其是在Pod内存波动频繁的场景下。
• 遗漏的系统Pod：如果你的查询仅统计了业务命名空间下的18个Pod，kube-system等系统命名空间中的Pod（如coredns、calico-node、metrics-server等）的内存消耗会被遗漏，而这些Pod的内存占用属于节点总使用量的一部分。
• 容器运行时额外开销：容器运行时（如containerd）在管理容器镜像、沙箱环境时产生的内存开销，不会被计入单个Pod的内存指标，但会占用节点内存。
• 内存回收延迟：节点若曾发生OOM（内存溢出），部分内存页可能未被及时回收，这类残留内存会被节点统计，但无对应运行中的Pod。

内容的提问来源于stack exchange，提问作者karthikeayan