OpenTelemetry：filelog接收器syslog_parser后用remove算子清理日志失败

问题分析 #

你遇到的空指针panic（invalid memory address or nil pointer dereference）根源有两点：

1. 字段路径错误：syslog_parser解析RFC5424日志后，priority、version等字段都存储在attributes层级下，而非根层级，直接指定字段名无法匹配到目标内容。
2. 解析失败条目触发异常：当存在不符合RFC5424格式的日志时，syslog_parser生成的条目未初始化attributes字段，后续remove算子尝试删除该字段下的内容时触发空指针异常。

解决方案 #

方案1：过滤解析成功的条目（推荐） #

在remove算子前添加filter算子，仅允许解析成功的日志条目进入后续处理，同时指定remove字段的完整路径：

receivers:
  filelog/my-app-name:
    include_file_name: false
    resource:
      service.name: my-app-name
    storage: file_storage/filelog
    include:
    - "/var/log/folder/my-app-name/standard.log"
    operators:
    - id: syslog-parser
      type: syslog_parser
      protocol: rfc5424
    # 过滤掉未成功解析的条目（确保attributes存在）
    - id: filter-valid-entries
      type: filter
      expr: 'attributes != nil'
    # 删除指定的attributes字段
    - id: remove-fields
      type: remove
      fields:
        - attributes.priority
        - attributes.version
        - attributes.msgid
        - attributes.structured_data
    retry_on_failure:
      enabled: true

方案2：直接丢弃解析失败的条目 #

如果不需要保留格式错误的日志，可以修改syslog_parser的on_error策略为drop，直接丢弃解析失败的条目：

receivers:
  filelog/my-app-name:
    include_file_name: false
    resource:
      service.name: my-app-name
    storage: file_storage/filelog
    include:
    - "/var/log/folder/my-app-name/standard.log"
    operators:
    - id: syslog-parser
      type: syslog_parser
      protocol: rfc5424
      # 解析失败直接丢弃条目
      on_error: drop
    - id: remove-fields
      type: remove
      fields:
        - attributes.priority
        - attributes.version
        - attributes.msgid
        - attributes.structured_data
    retry_on_failure:
      enabled: true

方案3：升级OpenTelemetry Collector #

你使用的stanza版本是v0.125.0，该版本存在remove算子处理nil attributes的bug。升级到v0.126.0及以上版本可修复该空指针问题，无需额外配置过滤规则。

验证要点 #

• 确认字段路径：通过debug exporter查看日志条目结构，验证priority等字段是否确实在attributes层级下
• 测试过滤效果：检查是否只有格式正确的日志进入后续处理流程，避免触发panic

内容的提问来源于stack exchange，提问作者Vega