Promtail流水线阶段替换表达式失效问题排查求助

尝试对testing命名空间的日志执行关键词替换，但替换未生效：

• elevenlabs 替换为 TTS
• deepgram 替换为 STT
• pinecone 替换为 RAG
• openai 替换为 LLM

以下是相关Promtail配置：

server:
  log_level: info
  log_format: logfmt
  http_listen_port: 3101
  
clients:
  - tenant_id: 1
    url: http://loki:3100/loki/api/v1/push

positions:
  filename: /run/promtail/positions.yaml

scrape_configs:
  # See also https://github.com/grafana/loki/blob/master/production/ksonnet/promtail/scrape_config.libsonnet for reference
  - job_name: kubernetes-pods
    pipeline_stages:
      - cri: {}
      - decolorize: {}
      - match:
          selector: '{namespace="testing"}'
          stages:
          - regex:
              expression: (?s)(?P<message>.*)
              source: log
          - replace:
              expression: (?i)elevenlabs
              replace: TTS
              source: message
          - replace:
              expression: (?i)deepgram
              replace: STT
              source: message
          - replace:
              expression: (?i)pinecone
              replace: RAG
              source: message
          - replace:
              expression: (?i)openai
              replace: LLM
              source: message
          - output:
              source: message
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels:
          - __meta_kubernetes_pod_controller_name
        regex: ([0-9a-z-.]+?)(-[0-9a-f]{8,10})?
        action: replace
        target_label: __tmp_controller_name
      - source_labels:
          - __meta_kubernetes_pod_label_app_kubernetes_io_name
          - __meta_kubernetes_pod_label_app
          - __tmp_controller_name
          - __meta_kubernetes_pod_name
        regex: ^;*([^;]+)(;.*)?$
        action: replace
        target_label: app
      - source_labels:
          - __meta_kubernetes_pod_label_app_kubernetes_io_instance
          - __meta_kubernetes_pod_label_instance
        regex: ^;*([^;]+)(;.*)?$
        action: replace
        target_label: instance
      - source_labels:
          - __meta_kubernetes_pod_label_app_kubernetes_io_component
          - __meta_kubernetes_pod_label_component
        regex: ^;*([^;]+)(;.*)?$
        action: replace
        target_label: component
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_node_name
        target_label: node_name
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: namespace
      - action: replace
        replacement: $1
        separator: /
        source_labels:
        - namespace
        - app
        target_label: job
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_name
        target_label: pod
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container
      - action: replace
        replacement: /var/log/pods/*$1/*.log
        separator: /
        source_labels:
        - __meta_kubernetes_pod_uid
        - __meta_kubernetes_pod_container_name
        target_label: __path__
      - action: replace
        regex: true/(.*)
        replacement: /var/log/pods/*$1/*.log
        separator: /
        source_labels:
        - __meta_kubernetes_pod_annotationpresent_kubernetes_io_config_hash
        - __meta_kubernetes_pod_annotation_kubernetes_io_config_hash
        - __meta_kubernetes_pod_container_name
        target_label: __path__
  
limits_config:
  
tracing:
  enabled: false

需要解答以下问题：

• 正则/替换阶段定义是否正确？
• 匹配选择器或流水线顺序是否导致了该问题？
• 该场景下Promtail的replace阶段是否存在已知问题？

1. 正则/替换阶段定义的问题 #

你的正则和替换配置存在两处错误：

• 正则阶段的表达式被HTML转义：(?P<message>.*)中的<是<的转义字符，Promtail无法识别这种转义后的命名捕获组，导致无法正确提取message字段，后续替换自然无法生效，应改为(?P<message>.*)。
• 替换阶段的正则缺少全局匹配标志：默认情况下replace只会替换第一个匹配到的关键词，若日志中有多个相同关键词，仅第一个会被替换，建议在正则末尾添加g标志，比如(?i)elevenlabs改为(?ig)elevenlabs。

2. 匹配选择器与流水线顺序的问题 #

• 匹配选择器存在HTML转义：{namespace="testing"}中的"是双引号的转义，Promtail无法正确识别该命名空间选择器，导致整个match阶段的规则完全不触发，应改为{namespace="testing"}。
• 流水线顺序本身没问题：cri阶段正确解析CRI格式日志到log字段，decolorize阶段去除颜色码，后续的match阶段本应针对testing命名空间执行替换，但因选择器转义问题未执行。

3. Replace阶段的已知问题 #

目前Promtail的replace阶段针对这种简单关键词替换没有已知BUG，只要配置正确就能正常工作。你的问题核心是配置中的HTML转义字符导致规则无法被正确解析，而非功能本身的问题。

修正后的流水线阶段配置片段 #

pipeline_stages:
  - cri: {}
  - decolorize: {}
  - match:
      selector: '{namespace="testing"}'
      stages:
      - regex:
          expression: (?s)(?P<message>.*)
          source: log
      - replace:
          expression: (?ig)elevenlabs
          replace: TTS
          source: message
      - replace:
          expression: (?ig)deepgram
          replace: STT
          source: message
      - replace:
          expression: (?ig)pinecone
          replace: RAG
          source: message
      - replace:
          expression: (?ig)openai
          replace: LLM
          source: message
      - output:
          source: message

内容的提问来源于stack exchange，提问作者Manshu Sharma