如何基于日期配置Promtail抓取指定URL的日志？

Promtail原生没有专门的HTTP拉取采集器，但可以通过exec配置实现定期从目标URL抓取日志，具体配置如下：

1. 基础定时拉取配置 #

在Promtail的配置文件（如promtail.yml）中添加一个exec类型的scrape job，调用curl定期请求目标URL，把接口输出作为日志源：

scrape_configs:
  - job_name: "http_json_logs"
    exec:
      # 动态生成当日日期参数，每天拉取当日日志
      command: "curl -s https://example.com/logs/logs.json?date=$(date +%Y-%m-%d)"
      # 每10分钟执行一次，可根据需求调整轮询间隔
      interval: "10m"
    pipeline_stages:
      - json:
          expressions:
            # 根据你的JSON日志结构提取字段，示例提取时间戳、日志内容、级别
            log_time: timestamp
            content: message
            log_level: level
      - timestamp:
          source: log_time
          format: RFC3339 # 匹配日志中的时间格式，按需修改
      - labels:
          log_level: ""

2. 增量/分页抓取优化 #

如果目标接口支持增量查询（比如按时间范围或最后日志ID），可以写个简单的shell脚本维护抓取状态，避免重复拉取：

#!/bin/bash
# 存储上次抓取的最后时间戳的文件路径
LAST_TS_FILE="/var/lib/promtail/last_http_log_ts.txt"
# 默认起始时间
DEFAULT_TS="1970-01-01T00:00:00Z"

# 读取上次的时间戳
LAST_TS=$(cat $LAST_TS_FILE || echo $DEFAULT_TS)
# 请求接口获取增量日志
curl -s "https://example.com/logs/logs.json?start_time=$LAST_TS" > /tmp/current_logs.json
# 提取本次日志的最大时间戳并更新状态文件
jq -r 'max_by(.timestamp).timestamp' /tmp/current_logs.json > $LAST_TS_FILE
# 输出日志内容给Promtail
cat /tmp/current_logs.json

将脚本保存为fetch_http_logs.sh并赋予执行权限，然后修改Promtail的exec配置调用该脚本：

exec:
  command: "/path/to/fetch_http_logs.sh"
  interval: "5m"

如果Promtail的exec方案无法满足需求（比如需要实时采集、复杂的API交互逻辑），可以考虑：

• 推送式方案：如果日志服务支持Webhook，直接配置将日志推送到Loki的/loki/api/v1/push接口，实时性更好，无需轮询。
• 专用日志采集工具：使用Vector、Fluentd这类工具，它们原生支持HTTP源拉取，能更优雅地处理分页、增量、重试等场景，再将日志转发给Loki。

内容的提问来源于stack exchange，提问作者Michael A.