Grafana Loki与Logstash客户端连接异常：标签未识别且日志输出至控制台

问题梳理 #

• Grafana可识别Loki数据源，但无法加载日志标签（截图显示标签区域为空）
• Logstash未将采集的日志发送至Loki，而是直接输出到控制台

配置修复与排查步骤 #

1. 修复日志未发送至Loki的问题 #

你的Logstash输出配置缺少必要的标签定义和调试参数，默认情况下若Loki输出插件配置失效，Logstash会自动回退到stdout输出。

修改logstash.conf的output段：

output {
  loki {
    url => "http://loki-loki-distributed-distributor.loki-benchmark.svc.cluster.local:3100"
    # 显式定义Loki标签，同时复用Logstash输入的type字段
    labels => { 
      "job" => "logstash-collector"
      "log_type" => "%{type}"
      "filename" => "%{[path][basename]}"
    }
    # 开启调试日志，方便排查连接或发送失败问题
    debug => true
    # 配置批量发送参数，适配Loki的接收机制
    batch_size => 1000
    batch_timeout => 5
  }
  # 临时保留stdout用于验证日志采集是否正常，确认后可移除
  stdout { codec => rubydebug }
}

2. 解决Grafana无法识别标签的问题 #

Loki的标签依赖Logstash在输出时主动注入，未定义的话日志只会携带默认的少量字段，且可能无法被Grafana正确识别。

• 必须通过labels字段在Logstash输出中定义符合Loki规范的标签：标签名仅支持字母、数字、下划线、连字符
• 示例中定义的job、log_type、filename标签，会在Grafana的Loki数据源中直接显示，用于日志过滤

3. 额外验证操作 #

• 检查网络连通性：在Logstash Pod内执行curl http://loki-loki-distributed-distributor.loki-benchmark.svc.cluster.local:3100/ready，返回ready则说明Loki服务可访问
• 查看Logstash日志：执行kubectl logs -n loki-benchmark <你的Logstash Pod名称>，检查是否有Loki插件的错误提示（如认证失败、连接超时）
• 确认插件版本：确保Logstash安装了最新版的logstash-output-loki插件，旧版本可能存在兼容性问题

验证流程 #

1. 更新ConfigMap：kubectl apply -f <你的ConfigMap文件路径>
2. 重启Logstash Pod：kubectl rollout restart deployment -n loki-benchmark <你的Logstash Deployment名称>
3. 在Grafana Explore面板选择Loki数据源，查看标签列表是否出现自定义的标签
4. 执行日志查询，确认是否能从Loki中检索到采集的日志

内容的提问来源于stack exchange，提问作者boycod3