如何用python-logstash经UDP向Logstash发送无冗余字段的纯文本消息
冗余字段产生的原因
当前使用的logstash.LogstashHandler(version=1)默认会按照结构化日志规范,自动把日志附带的元数据(发送时间戳、日志等级、logger实例名、库版本号)全部序列化为JSON格式发送。如果Logstash接收端没有配置解码拆分逻辑,就会把整个序列化后的JSON字符串全量写入ES的@message字段,最终出现冗余内容。
可行解决路径
Python发送端改造(无需修改Logstash配置)
直接跳过python-logstash库的默认结构化序列化逻辑,只发送纯文本核心内容,两种实现方式二选一:
- 换用Python原生UDP Handler,自定义日志格式化规则
直接复用标准库的DatagramHandler实现UDP传输,完全不携带额外元数据:import logging from logging.handlers import DatagramHandler LOGSTASH_HOST = '<HOSTNAME>' LOGSTASH_PORT = <PORTNUMBER> logger = logging.getLogger('plain-text-logger') logger.setLevel(logging.INFO) # 自定义格式化规则:仅返回传入的日志纯文本,不拼接任何元数据 class PlainOnlyFormatter(logging.Formatter): def format(self, record): return record.getMessage() udp_handler = DatagramHandler(LOGSTASH_HOST, LOGSTASH_PORT) udp_handler.setFormatter(PlainOnlyFormatter()) logger.addHandler(udp_handler) # 发送测试日志,ES中@message将只保留下面传入的纯文本内容 logger.info('python-logstash: test logstash info message.') - 继续使用python-logstash库,重写序列化逻辑过滤冗余字段
不需要替换Handler,仅修改handler的默认序列化方法,让它只发送核心日志文本:import logging import logstash LOGSTASH_HOST = '<HOSTNAME>' LOGSTASH_PORT = <PORTNUMBER> logger = logging.getLogger('python-logstash-logger') logger.setLevel(logging.INFO) log_handler = logstash.LogstashHandler(LOGSTASH_HOST, LOGSTASH_PORT, version=1) # 重写编码方法:仅传递核心日志文本,不附带默认元数据 log_handler.encode = lambda record: {"message": record.getMessage()} logger.addHandler(log_handler) logger.info('python-logstash: test logstash info message.')
Logstash接收端配置改造(无需修改Python侧代码)
如果不想改动现有Python发送逻辑,直接调整Logstash的UDP接收配置,自动拆分JSON结构、把核心纯文本单独赋值给@message字段,过滤冗余内容:
input { udp { host => "<LOGSTASH_BIND_ADDRESS>" port => <PORTNUMBER> # 配置JSON编解码,自动拆分收到的结构化JSON字段 codec => json { charset => "UTF-8" } } } filter { mutate { # 把核心日志文本替换为@message字段的内容 replace => { "@message" => "%{[message]}" } # 按需删除不需要的冗余字段 remove_field => ["@version", "level", "logger_name", "tags", "type"] } } output { elasticsearch { hosts => ["<ES_NODE_ADDRESS>"] } }
注意事项
- UDP协议单条报文最大不超过65507字节,超长日志会被自动截断,不适合传输大体积日志
- 如果Python侧直接发送纯文本(非JSON格式),Logstash的UDP input需要把codec换回默认的
plain,避免解析异常
内容的提问来源于stack exchange,提问作者kevn_gonz
相关产品推荐
相关产品推荐

