You need to enable JavaScript to run this app. 如何用python-logstash经UDP向Logstash发送无冗余字段的纯文本消息
优惠活动
大模型
产品
解决方案
定价
更多

如何用python-logstash经UDP向Logstash发送无冗余字段的纯文本消息

冗余字段产生的原因

当前使用的logstash.LogstashHandler(version=1)默认会按照结构化日志规范,自动把日志附带的元数据(发送时间戳、日志等级、logger实例名、库版本号)全部序列化为JSON格式发送。如果Logstash接收端没有配置解码拆分逻辑,就会把整个序列化后的JSON字符串全量写入ES的@message字段,最终出现冗余内容。

可行解决路径

Python发送端改造(无需修改Logstash配置)

直接跳过python-logstash库的默认结构化序列化逻辑,只发送纯文本核心内容,两种实现方式二选一:

  1. 换用Python原生UDP Handler,自定义日志格式化规则
    直接复用标准库的DatagramHandler实现UDP传输,完全不携带额外元数据:
    import logging
    from logging.handlers import DatagramHandler
    
    LOGSTASH_HOST = '<HOSTNAME>'
    LOGSTASH_PORT = <PORTNUMBER>
    
    logger = logging.getLogger('plain-text-logger')
    logger.setLevel(logging.INFO)
    
    # 自定义格式化规则:仅返回传入的日志纯文本,不拼接任何元数据
    class PlainOnlyFormatter(logging.Formatter):
        def format(self, record):
            return record.getMessage()
    
    udp_handler = DatagramHandler(LOGSTASH_HOST, LOGSTASH_PORT)
    udp_handler.setFormatter(PlainOnlyFormatter())
    logger.addHandler(udp_handler)
    
    # 发送测试日志,ES中@message将只保留下面传入的纯文本内容
    logger.info('python-logstash: test logstash info message.')
    
  2. 继续使用python-logstash库,重写序列化逻辑过滤冗余字段
    不需要替换Handler,仅修改handler的默认序列化方法,让它只发送核心日志文本:
    import logging
    import logstash
    
    LOGSTASH_HOST = '<HOSTNAME>'
    LOGSTASH_PORT = <PORTNUMBER>
    
    logger = logging.getLogger('python-logstash-logger')
    logger.setLevel(logging.INFO)
    
    log_handler = logstash.LogstashHandler(LOGSTASH_HOST, LOGSTASH_PORT, version=1)
    # 重写编码方法:仅传递核心日志文本,不附带默认元数据
    log_handler.encode = lambda record: {"message": record.getMessage()}
    
    logger.addHandler(log_handler)
    logger.info('python-logstash: test logstash info message.')
    

Logstash接收端配置改造(无需修改Python侧代码)

如果不想改动现有Python发送逻辑,直接调整Logstash的UDP接收配置,自动拆分JSON结构、把核心纯文本单独赋值给@message字段,过滤冗余内容:

input {
  udp {
    host => "<LOGSTASH_BIND_ADDRESS>"
    port => <PORTNUMBER>
    # 配置JSON编解码,自动拆分收到的结构化JSON字段
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {
  mutate {
    # 把核心日志文本替换为@message字段的内容
    replace => { "@message" => "%{[message]}" }
    # 按需删除不需要的冗余字段
    remove_field => ["@version", "level", "logger_name", "tags", "type"]
  }
}

output {
  elasticsearch {
    hosts => ["<ES_NODE_ADDRESS>"]
  }
}
注意事项
  • UDP协议单条报文最大不超过65507字节,超长日志会被自动截断,不适合传输大体积日志
  • 如果Python侧直接发送纯文本(非JSON格式),Logstash的UDP input需要把codec换回默认的plain,避免解析异常

内容的提问来源于stack exchange,提问作者kevn_gonz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 23:45:10