能否配置rsyslogd仅从接收的syslog中保存指定字段?
rsyslogd裁剪UDP接收的竖线分隔日志指定字段配置方案
完全可以实现该需求,rsyslog原生支持按分隔符拆分日志字段、筛选保留指定内容,无需额外编写脚本处理,通过原生配置即可完成字段裁剪。
实现核心流程
- 配置UDP监听端口的基础接收规则
- 对接收的原始日志内容,以竖线
|为分隔符,拆分为独立的数组字段 - 自定义输出模板,仅拼接需要保留的2-3个目标字段,直接写入落盘或转发
- 未选中的字段无需写入输出内容,自动完成裁剪
具体配置示例
所有自定义规则写入独立配置文件即可,比如/etc/rsyslog.d/50-crop-udp-log.conf,修改完成后重启rsyslog服务生效。
- 先加载UDP接收所需的核心模块,配置基础监听:
# 加载UDP接收模块 module(load="imudp") # 配置UDP监听端口,按需替换为实际业务使用的端口号 input(type="imudp" port="514")
- 编写字段拆分与裁剪规则:
注意:split()函数拆分得到的数组索引从0开始计数,即拆分后的第一个字段对应索引0、第二个对应索引1、第三个对应索引2,依次类推,配置时不要数错索引位置。
# 匹配所有从该UDP端口收到的外部日志 if $inputname == "imudp" then { # 以竖线为分隔符,把原始msg内容拆分为数组,存在结构化字段$!log_parts中 set $!log_parts = split($msg, "|") # 自定义输出模板:这里示例为保留第2、7、12个原始字段(对应索引1、6、11),按需调整索引值;模板里的字段分隔符可按需修改,不局限于竖线 template(name="CroppedLogTpl" type="string" string="%$!log_parts[1]%|%$!log_parts[6]%|%$!log_parts[11]%\n") # 将裁剪后的日志写入指定存储文件,模板替换为上一步定义的裁剪模板 action(type="omfile" file="/var/log/biz/cropped_udp.log" template="CroppedLogTpl") # 处理完成后终止后续规则匹配,避免重复处理 stop }
配置注意事项
- 若个别日志行的竖线分隔数量少于你要取的索引位置,rsyslog会自动在对应位置输出空值,不会导致进程崩溃
- 上线初期建议临时增加一条规则,将未裁剪的原始日志完整备份到单独目录,观察1-2天确认拆分索引匹配准确后,再关闭原始备份写入,避免因索引错位存错有效字段
- 内置split拆分属于内存级操作,相比外挂shell脚本裁剪日志,在高并发UDP接收场景下性能更稳定,不会出现脚本处理不及时导致的日志丢失问题
- split()函数要求rsyslog版本在8.3.0以上,版本过低时可通过正则捕获字段的方式实现相同逻辑,核心流程无差异
内容的提问来源于stack exchange,提问作者Pedro Dobrescu
相关产品推荐
相关产品推荐

