如何通过python-logstash向Kibana添加自定义字段并修复JSON解析错误

我来帮你解决这个问题——你遇到的JSON解析错误确实是导致extra字段无法成为独立字段的核心原因，咱们一步步来修复：

一、先搞定JSON解析错误 #

你看到的Unrecognized token 'mestamp'错误，本质是Logstash收到的不是合法JSON格式的日志内容，导致解析失败后把原始数据塞进了message字段。

1. 调整Python脚本的日志发送格式 #

python-logstash的version参数决定了输出格式，一定要指定version=1才能发送标准JSON日志。示例脚本如下：

import logging
from python_logstash import LogstashHandler

# 初始化日志器
logger = logging.getLogger('python-logstash-app')
logger.setLevel(logging.INFO)

# 配置Logstash Handler，关键是version=1
handler = LogstashHandler(
    host='localhost',
    port=5000,
    version=1  # 强制输出JSON格式日志
)
logger.addHandler(handler)

# 发送带extra字段的日志
logger.info(
    '用户发起API请求',
    extra={
        'user_id': 123,
        'request_path': '/api/v1/get-data',
        'status_code': 200
    }
)

2. 修正Logstash的Input配置 #

确保Logstash的输入直接使用json codec，自动解析JSON数据，避免手动解析出错：

input {
  tcp {
    port => 5000
    codec => json  # 这里必须是json，不能用plain
  }
}

3. 验证日志格式（可选但重要） #

你可以用nc -l 5000在终端监听端口，查看Python发送的日志内容是否是合法JSON。如果输出是类似下面的结构，就说明格式正确：

{"message": "用户发起API请求", "@timestamp": "2024-05-20T14:30:00.123Z", "level": "INFO", "extra": {"user_id": 123, "request_path": "/api/v1/get-data", "status_code": 200}}

二、让Extra字段成为Kibana独立字段 #

解决了解析错误后，extra字段会被正确识别为嵌套字段，但默认不会自动展开到顶层。我们需要在Logstash的Filter阶段把嵌套的extra字段提取出来。

方法1：自动展开所有Extra字段（适合字段不固定的场景） #

用Ruby插件遍历extra里的所有键值对，自动放到顶层：

filter {
  ruby {
    code => "
      # 检查extra字段是否存在
      if event.get('extra')
        # 遍历extra的每个键值对，添加到顶层
        event.get('extra').each do |key, value|
          event.set(key, value)
        end
        # 删除原始的extra字段（可选）
        event.remove('extra')
      end
    "
  }
}

方法2：手动指定字段（适合字段固定的场景） #

如果你的extra字段是固定的，用mutate插件更直观：

filter {
  mutate {
    # 把extra里的字段提取到顶层
    add_field => {
      "[user_id]" => "%{[extra][user_id]}"
      "[request_path]" => "%{[extra][request_path]}"
    }
    # 删除原始extra字段
    remove_field => ["extra"]
  }
}

三、完整的Logstash配置示例 #

把上面的配置整合起来，完整的logstash.conf如下：

input {
  tcp {
    port => 5000
    codec => json
  }
}

filter {
  ruby {
    code => "
      if event.get('extra')
        event.get('extra').each do |key, value|
          event.set(key, value)
        end
        event.remove('extra')
      end
    "
  }
}

output {
  # 输出到Elasticsearch，供Kibana查询
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "python-app-logs-%{+YYYY.MM.dd}"
  }
  # 控制台输出调试信息
  stdout {
    codec => rubydebug
  }
}

四、常见问题排查 #

1. 还是出现解析错误？

   • 检查python-logstash版本，升级到最新版：pip install --upgrade python-logstash
   • 确认Python发送的日志没有特殊字符未转义（比如换行符、引号）

2. Extra字段没展开？

   • 查看Logstash控制台的rubydebug输出，确认extra字段是否存在
   • 检查Filter阶段的语法是否有误，比如字段名拼写错误

内容的提问来源于stack exchange，提问作者fdf4rt5