Promtail截断超长Jenkins日志：Regex报错及Go Template替代方案

问题场景 #

使用Promtail 2.6.1将Jenkins日志发送至Loki，需要截断长度超过12000字符的日志。最初尝试用Regex流水线阶段配置，正则表达式为：

(?P<truncated_log>.{0,12000}).*

但启动Promtail时出现报错：

level=error ts=2022-10-06T13:48:37.260110981Z caller=main.go:117 msg="error creating promtail" error="failed to make file target manager: invalid regex stage config: could not compile regular expression: error parsing regexp: invalid repeat count: `{0,12000}`"

将截断值改为20这类小数值时，配置可正常运行。

问题原因 #

Promtail依赖Go标准库的regexp包（基于RE2引擎），该引擎对正则表达式中的重复计数有默认上限（最大为10000），{0,12000}超过了这个限制，导致正则编译失败。

可行解决方案：使用Go Template实现日志截断 #

通过Promtail的Template流水线阶段可以绕过正则的限制，实现长日志截断，配置示例如下：

...
pipeline_stages:
  - match:
      selector: '{component="master"}'
      stages:
        - template:
            source: log_truncated
            template: |
              {{- if le (len .log) 12000 -}}
                {{ .log }}
              {{- end -}}
              {{- if gt (len .log) 12000 -}}
                {{ trunc 12000 .log }} TRUNCATED
              {{- end -}}
        - output:
            source: log_truncated
...

配置说明 #

1. match阶段：筛选出component="master"的Jenkins主节点日志（可根据实际需求调整selector规则）
2. template阶段：
   • 创建log_truncated字段，判断原日志.log的长度
   • 若长度≤12000，直接保留原日志内容
   • 若长度>12000，截断前12000个字符并追加TRUNCATED标记，明确日志已被截断
3. output阶段：将截断后的log_truncated字段作为最终输出的日志内容

内容的提问来源于stack exchange，提问作者Andreea