Loki录制与告警规则配置及调试问题咨询

针对你遇到的Loki规则配置问题，逐一解答如下：

1. 规则文件应放置在何处？/rules、/rules-temp和/rules/有何区别？ #

• 规则文件的位置由Loki的ruler.storage配置决定：
  • 若使用本地文件存储（ruler.storage.type: local），需将规则放在ruler.local.path指定的根目录下的租户ID子目录中。单租户模式（默认auth_enabled: false）下，默认租户ID为fake，所以标准路径是/loki/rules/fake（假设ruler.local.path设为/loki/rules）。
  • /rules、/rules-temp这类路径如果未在ruler.local.path中配置，Loki不会扫描，规则自然不会生效。
  • /rules/<tenant-id>是多租户模式下的规范结构：每个租户的规则独立存放在对应ID的子目录中，Loki会自动隔离加载不同租户的规则。

2. 规则及规则文件的格式要求是什么？是否支持多文件？ #

• 格式要求：与Prometheus规则格式完全兼容，采用YAML结构，核心是groups数组，每个组包含rules数组：
  • 记录规则需指定record（指标名称）和expr（LogQL表达式，注意不是PromQL）。
  • 告警规则需指定alert（告警名称）、expr（LogQL表达式），可附加for、labels、annotations等字段。
• 多文件支持：完全支持。只要租户目录下的.yml/.yaml文件都会被Loki自动扫描加载，你可以按业务逻辑拆分规则到多个文件中。
• 校验工具：推荐用cortex-tool提前验证规则语法：

  cortex-tool rules validate --file <规则文件路径>
  

3. 为何Loki未输出规则相关日志（如错误的Prometheus地址、规则文件格式错误）？ #

• 日志级别不足：Loki默认日志级别为info，ruler的规则加载细节、remote_write错误等日志仅在debug级别下输出。启动时需追加参数-log.level=debug，或在配置文件中设置log_level: debug。
• 规则目录未被扫描：如果规则文件放在了Loki未配置的路径下，Loki根本不会读取文件，自然无相关日志。
• Remote_write错误输出频率低：若地址不可达，Loki仅在初次连接失败时输出日志，后续重试不会重复打印，需查看启动初期的debug日志。

4. 如何正确配置Loki的Recording和Alerting规则？ #

完整配置步骤 #

1. 完善Ruler配置
   在Loki配置文件中添加本地存储及远程写入/告警配置：

   ruler:
     storage:
       type: local
       local:
         path: /loki/rules  # 规则根目录
     alertmanager_url: http://localhost:9093  # 告警规则需配置
     remote_write:
       enabled: true  # 记录规则需开启
       client:
         url: http://prometheus:9090/api/v1/write
   

2. 创建规则目录
   单租户模式下创建默认租户目录：

   mkdir -p /loki/rules/fake
   

3. 编写规则文件
   • 记录规则示例（/loki/rules/fake/recording.yml）：

     groups:
     - name: nginx_requests
       rules:
       - record: nginx:requests:rate5m
         expr: sum by (host) (rate({job="nginx"} |= "GET" [5m]))
     

   • 告警规则示例（/loki/rules/fake/alerting.yml）：

     groups:
     - name: high_error_rate
       rules:
       - alert: NginxHighErrorRate
         expr: sum by (host) (rate({job="nginx"} |= "500 Internal Server Error" [5m])) > 0.5
         for: 1m
         labels:
           severity: critical
         annotations:
           summary: "{{ $labels.host }} 5xx错误率过高"
     

4. 验证规则
   用cortex-tool校验规则语法：

   cortex-tool rules validate --file /loki/rules/fake/recording.yml
   

5. 重启Loki
   查看debug日志，确认规则已加载：

   level=debug msg="loaded rules" component=ruler group=nginx_requests rules=1 tenant=fake
   

5. 如何调试该配置？无日志情况下不知何处排查问题。 #

分步排查方案 #

1. 开启Debug日志
   启动Loki时强制开启debug级别日志：

   ./loki -config.file=/etc/loki/config.yml -log.level=debug
   

   重点关注component=ruler的日志，排查规则扫描、加载及远程写入状态。
2. 检查目录权限
   确保Loki进程对规则目录有读权限：

   ls -ld /loki/rules/fake
   ps aux | grep loki
   

   若权限不足，调整目录所属用户：

   chown -R loki:loki /loki/rules
   

3. 通过API验证规则加载状态
   调用Loki的Ruler API查看已加载的规则：

   curl http://localhost:3100/loki/api/v1/ruler/tenants/fake/rules
   

   若返回空数组，说明规则文件未被加载，需检查路径配置。
4. 测试LogQL表达式
   在Loki UI的Explore页面，输入规则中的LogQL表达式，确认是否有返回结果。如果表达式无数据，即使规则正确也不会生成指标。
5. 验证Remote_Write连通性
   手动向Prometheus写入测试数据，排除网络或Prometheus配置问题：

   curl -X POST http://prometheus:9090/api/v1/write --data-binary "loki_test_metric 456"
   

   之后在Prometheus UI中查询loki_test_metric，确认能收到数据。
6. 确认Ruler已启用
   检查Loki配置中是否存在ruler.enabled: false，默认情况下ruler是启用的。

内容的提问来源于stack exchange，提问作者dorinand