Logstash输出至rsyslog时头部多余时间戳与%{host}问题排查

多余内容的来源 #

你看到的重复时间戳和%{host}占位符，原因很明确：

• Logstash的syslog输出插件会默认按照RFC5424格式生成标准syslog头部，这个头部包含时间戳、主机名等字段；
• 你的原始日志本身已经自带时间戳和主机相关信息，两者叠加就出现了重复；
• 日志里的%{host}是因为插件找不到当前事件中有效的host字段，直接将配置里的占位符原样输出了。

解决办法 #

方案一：改用TCP输出插件（推荐） #

如果不需要syslog标准头部，直接用tcp输出插件发送原始日志内容更简单，避免syslog插件自动生成头部。修改output部分配置如下：

output {
  # TEST ACTIVITY Logs being sent via TCP to Logreceiver
  if [ec_part] == "AWS_TEST" {
    tcp {
      host => "10.119.140.206"
      port => "10514"
      ssl_enable => true
      ssl_cacert => "/etc/logstash/ca.crt"
      ssl_cert => "/etc/logstash/server.crt"
      ssl_key => "/etc/logstash/server.key"
      message_format => "%{message}" # 仅发送原始日志内容
    }
  }
}

方案二：调整syslog插件配置（若需保留syslog头部） #

如果必须使用syslog标准格式，需要让插件复用你日志中已有的时间戳和主机信息，同时确保message字段是纯净的原始日志。步骤如下：

1. 先在filter阶段解析原始日志，提取出有效的@timestamp和host字段（如果输入事件中没有这些字段的话）；
2. 修改syslog输出配置，指定使用事件中的字段生成头部：

output {
  # TEST ACTIVITY Logs being sent via TCP to Logreceiver
  if [ec_part] == "AWS_TEST" {
    syslog {
      appname => ""
      host => "10.119.140.206"
      port => "10514"
      protocol => "ssl-tcp"
      ssl_cacert => "/etc/logstash/ca.crt"
      ssl_cert => "/etc/logstash/server.crt"
      ssl_key => "/etc/logstash/server.key"
      priority => "info"
      rfc => "rfc5424"
      timestamp => "%{@timestamp}" # 使用事件自带的时间戳
      sourcehost => "%{host}" # 使用事件自带的主机名
      message => "%{message}" # 确保发送原始日志内容
    }
  }
}

额外检查 #

确认输入管道test_syslog的配置，保证它将原始日志完整存入message字段，没有提前添加额外内容或修改日志结构。

内容的提问来源于stack exchange，提问作者abhisheknayak777