PLG监控栈Promtail配置、Loki时间戳及LogQL查询相关问题求助

问题1：Grafana展示的日志时间为Loki写入时间，而非日志自带UTC时间 #

需要在Promtail的对应采集job的pipeline_stages中增加时间戳提取配置，覆盖默认的采集时间：

pipeline_stages:
  # 第一步：用正则提取日志开头的UTC时间字段
  - regex:
      expression: '^(?P<log_ts>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d+Z) .*'
  # 第二步：指定用提取的log_ts字段作为日志时间戳
  - timestamp:
      source: log_ts
      format: RFC3339Nano
      # 日志时间本身为UTC，无需额外时区转换

配置更新后重启Promtail，新写入Loki的日志就会使用日志本身的时间戳。

问题2：历史旧日志未入库，仅能查询新产生的日志 #

Promtail默认会记录已读取的日志位置，且首次启动时默认从文件末尾开始读取，不会处理历史内容，修复步骤：

1. 停止运行中的Promtail进程
2. 删除Promtail配置中positions字段指定路径下的positions.yaml文件（默认路径为/tmp/positions.yaml）
3. 在对应采集job的配置中增加从文件开头读取的配置：

scrape_configs:
  - job_name: your_log_job
    static_configs:
      - targets:
          - localhost
        labels:
          __path__: /your/log/path/*.log
    # 新增以下配置
    read_from: beginning

4. 重启Promtail即可。如果历史日志量较大，可增加rate_limit配置限制发送速率，避免对Loki造成过大压力。

问题3：按host标签聚合计算所有请求平均耗时的LogQL语句 #

你可以直接在查询时通过LogQL提取耗时字段并做聚合，示例语句如下：

avg_over_time(
  {job="你的日志采集job名称"}
  # 按日志字段顺序提取各属性
  | pattern `<ts> <status_code> <cost> <ip> <username> <method> <content>`
  # 将00:00.001格式的耗时转为秒级数值
  | cost = replace(cost, `(\d{2}):(\d{2})\.(\d{3})`, "PT$1M$2.$3S")
  | cost_sec = duration_to_seconds(cost)
  # 提取数值用于计算
  | unwrap cost_sec
  # 时间窗口可根据你的查询范围调整，此处示例为1分钟
  [1m]
) by (host)

如果查询频率较高，建议提前在Promtail的pipeline_stages中将耗时字段解析为结构化属性，可大幅提升查询效率。

内容的提问来源于stack exchange，提问作者JK EV