求助：Kubernetes容器内存使用率PromQL查询无法返回容器标签

问题原因 #

直接对container_memory_usage_bytes和container_memory_working_set_bytes做除法时，Prometheus会严格匹配两个指标的所有标签，只要存在标签差异（比如采集端的额外监控标签），就会导致容器维度的标签被过滤，甚至无法返回有效结果。

解决方案 #

1. 显式指定核心对齐标签 #

使用on()子句限定匹配的核心标签，忽略无关标签的差异，确保计算后保留容器维度标签：

container_memory_usage_bytes{container!=""} / on(namespace, pod, container) container_memory_working_set_bytes{container!=""}

• {container!=""}用来排除无容器名称的系统级指标（比如节点空容器条目）
• on(namespace, pod, container)指定仅基于这三个核心标签匹配，避免其他冗余标签干扰

2. 排查采集配置 #

如果执行后标签仍缺失，需确认监控采集环节的配置：

• 检查cAdvisor是否开启了container、pod、namespace标签的采集
• 核对Prometheus的relabel规则，确保没有误删这些核心标签

3. 强制标签一致性（备选方案） #

如果上述方法无效，可通过添加临时标签强制两个指标的标签集合一致：

label_replace(container_memory_usage_bytes{container!=""}, "temp_tag", "match", "", "") 
/ on(namespace, pod, container, temp_tag) 
label_replace(container_memory_working_set_bytes{container!=""}, "temp_tag", "match", "", "")

通过给两个指标添加相同的临时标签temp_tag，消除标签集合差异，保留原有容器维度标签。

内容的提问来源于stack exchange，提问作者Rahul Shukla