Grafana Alloy在Bottlerocket节点无法采集Prefect Pod日志排查

问题背景 #

在Grafana Explore或钻取功能中，其他服务的Loki日志可正常查看，但筛选prefect命名空间或预设标签时，无法获取Prefect Pod的日志。环境为EKS托管的Karpenter节点，操作系统使用Bottlerocket，初步排查怀疑Alloy配置依赖的/var/log/pods/路径在Bottlerocket上不存在。

原因分析 #

Bottlerocket是专为容器场景优化的操作系统，其容器日志存储路径与标准Linux发行版存在差异：

• 标准路径/var/log/pods/在Bottlerocket中不存在
• Bottlerocket将容器日志存储在/var/log/containers/目录下，文件命名格式为<pod-name>_<namespace>_<container-name>-<container-id>.log，同时通过符号链接关联到实际日志文件

原Alloy配置的discovery.relabel规则中，__path__的生成逻辑依赖/var/log/pods/路径，导致无法匹配Bottlerocket上的日志文件。

解决方案 #

修改Alloy配置中的discovery.relabel规则，调整__path__的路径模板，适配Bottlerocket的日志存储结构：

修改后的关键配置片段 #

discovery.relabel "pod_logs" {
  targets = discovery.kubernetes.pods.targets

  // 其他原有规则保持不变...

  // 适配Bottlerocket的日志路径规则
  rule {
    source_labels = ["__meta_kubernetes_pod_name", "__meta_kubernetes_namespace", "__meta_kubernetes_pod_container_name", "__meta_kubernetes_pod_container_id"]
    action = "replace"
    target_label = "__path__"
    separator = "/"
    replacement = "/var/log/containers/$0_$1_$2-$3.log"
  }

  // 其他原有规则保持不变...
}

验证步骤 #

1. 确认Alloy Pod已正确挂载日志目录：
   检查Alloy的mounts配置（当前已包含varlog: true），并在Pod内执行ls /var/log/containers/验证路径可访问
2. 重启Alloy实例应用新配置
3. 在Grafana Explore中重新筛选prefect命名空间，验证日志是否正常采集

备选调整方案 #

如果上述路径仍无法匹配，可直接在Bottlerocket节点上查看实际日志路径，再调整模板规则：

# 在Bottlerocket节点执行
ls /var/log/containers/ | grep prefect

内容的提问来源于stack exchange，提问作者Roman Newaza