RSyslog日志后处理与远程转发问题咨询

我来帮你梳理下这个问题，结合你用的Debian Jessie、systemd 215和rsyslog 8.3.3环境来拆解：

当前方式是不是最佳实践？ #

其实你现在的配置思路（本地捕获+转发、两端都做后处理）本身没问题，但重复添加字段的问题说明需要优化。分布式日志收集里，通常建议只在日志产生的源头做一次标准化处理，这样下游节点只负责存储/展示，避免重复加工。不过你提到要保证转发和本地日志格式一致，这个需求是合理的，但可以通过更精准的配置来实现，不用两端都全量加字段。

如何避免后处理内容重复？ #

核心思路是让rsyslog能区分「本地原生日志」和「已经被转发过来的加工后日志」，然后只对原生日志做后处理。这里有几个具体方法：

1. 给转发日志加标记，做过滤判断 #

在转发节点的配置里，给加工后的日志加一个自定义标记（比如[processed=done]），然后在接收节点判断这个标记，跳过二次加工：

• 转发节点配置示例：

  # 定义加工后的模板，加上标记
  template(name="ForwardProcessed" type="string" string="%time-generated:::date-rfc3339% %priority% %hostname% %msg% [processed=done]")
  # 用这个模板转发日志
  action(type="omfwd" target="你的日志服务器地址" template="ForwardProcessed")
  

• 接收节点配置示例：

  # 先判断日志是否已加工，是则直接输出
  if $msg contains '[processed=done]' then {
    action(type="omfile" file="/dev/console")
    stop
  }
  # 未加工的日志才执行后处理
  else {
    template(name="LocalProcessed" type="string" string="%time-generated:::date-rfc3339% %priority% %hostname% %msg%")
    action(type="omfile" file="/dev/console" template="LocalProcessed")
  }
  

2. 按日志来源分开处理 #

因为本地日志来自journald（通过imjournal输入模块），转发过来的日志来自TCP/UDP（imtcp/imudp），可以直接针对不同输入源配置不同逻辑：

# 处理本地journal日志：做后处理，同时输出+转发
input(type="imjournal" statefile="imjournal.state")
template(name="StandardFormat" type="string" string="%time-generated:::date-rfc3339% %priority% %hostname% %msg%")
action(type="omfile" file="/dev/console" template="StandardFormat")
action(type="omfwd" target="你的日志服务器地址" template="StandardFormat")

# 处理远程转发日志：直接输出，不做后处理
input(type="imtcp" port="514")
action(type="omfile" file="/dev/console")

这样本地和远程日志的处理逻辑完全隔离，不会出现重复加工。

3. 统一用模板确保格式一致 #

不管本地输出还是远程转发，都用同一个标准模板定义格式。转发时直接发送模板加工后的内容，接收端拿到后直接输出，既保证格式统一，又避免二次加工。

为什么time-generated没有重复？ #

这是因为time-generated是rsyslog的内置属性，代表日志被rsyslog首次处理的时间。当转发过来的日志到达接收节点时，rsyslog会识别到这是已经处理过的标准syslog消息，不会重新生成time-generated字段，而是保留原始值。而hostname是你手动添加的自定义字段，两端都执行添加逻辑的话，自然就会重复了。

总结建议 #

1. 优先采用源头一次加工的策略：只在日志产生节点做后处理，转发时直接发送加工好的内容，接收端仅负责存储/输出；
2. 如果必须保留接收端的加工能力，一定要通过标记或来源过滤，避免重复操作；
3. 利用rsyslog的模板和属性系统，让配置逻辑更清晰，减少冗余操作。

内容的提问来源于stack exchange，提问作者VarunPandey