基于S3后端的分布式Loki时间戳异常与Grafana连接问题排查

如果你使用默认values.yaml部署时Grafana可以正常连接，说明你自定义的配置修改了网关路由或者组件服务发现相关逻辑，重点核对你改动过的commonConfig、gateway、ingester相关字段和默认配置的差异。

• 确认Grafana填写的数据源地址和Loki gateway服务的内网域名完全匹配，标准格式为http://<loki-release名称>-gateway.<loki部署命名空间>.svc.cluster.local:80，你可以进入Grafana Pod执行curl http://<gateway地址>/ready验证连通性，正常会返回200状态码。
• 检查Loki分布式组件的成员发现配置，确认commonConfig.replication_factor值和ingester副本数一致，同时进入任意distributor/ingester Pod执行curl http://localhost:3100/memberlist，确认返回的节点列表包含所有运行中的ingester、distributor实例。
• 核对gateway的路由配置，默认gateway会自动把查询请求转发到query-frontend/querier组件，如果你自定义了gateway的nginx配置，需要确认/api/loki/*前缀的请求转发规则没有写错。
• 如果Loki开启了身份认证，确认Grafana数据源填写的用户名密码、Bearer Token权限正常，权限不足也会触发网关返回500错误。

该报错的根因是Loki默认要求同一标签流的日志必须按时间戳递增顺序写入，不符合规则的日志会被直接丢弃，可按以下方式修改配置解决：

• 如果你使用的是Loki 2.4及以上版本，直接开启无序写入支持，修改values.yaml配置如下：

loki:
  structuredConfig:
    ingester:
      unordered_writes: true
      max_chunk_age: 2h # 可根据业务场景调整，值越大允许的无序时间窗口越大

• 调整Promtail的时间戳处理逻辑，如果采集的日志本身存在时间戳乱序，可以配置Promtail用日志抓取时间作为写入时间戳，避免业务日志自带的乱序时间戳触发报错：

pipelineStages:
- timestamp:
    source: <日志中时间字段的名称，没有则直接去掉source配置>
    format: <对应日志的时间格式，比如RFC3339、YYYY-MM-DD HH:mm:ss>
    action_on_failure: set_to_current_time

• 放大允许的旧日志时间窗口，适配本身存在长时间跨度乱序的业务场景：

loki:
  structuredConfig:
    limits_config:
      reject_old_samples: true
      reject_old_samples_max_age: 12h # 根据实际需要调整，默认是2h

• 检查所有K8s节点的时钟是否同步，节点之间的时间差超过reject_old_samples_max_age配置值也会触发乱序报错，可通过timedatectl命令核对各节点时间。

内容的提问来源于stack exchange，提问作者Vaibhav Jain