如何在Logstash中将XML格式的HTTP请求转换为JSON？

核心问题 #

Logstash的HTTP输入默认使用JSON编解码器，无法直接解析XML格式的请求体，因此需要先以纯文本形式接收请求内容，再通过XML过滤器将其转换为结构化JSON数据。

完整Logstash配置示例 #

input {
  http {
    host => '127.0.0.1'
    port => portnumber  # 替换为你的实际监听端口
    codec => "plain"    # 以纯文本接收请求体，避免默认JSON解析逻辑丢弃非JSON请求
  }
}

filter {
  # 仅处理Content-Type包含XML的请求
  if [headers][Content-Type] =~ /xml/ {
    xml {
      source => "message"       # 指定要解析的原始字段（HTTP请求体默认存在message中）
      target => "xml_payload"   # 解析后的结构化XML数据存入该字段
      force_array => false      # 避免单个XML节点被强制转为数组，按需调整
      remove_field => "message" # 解析完成后可移除原始message字段，可选操作
    }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]  # 替换为你的Elasticsearch地址
    index => "xml-events-%{+YYYY.MM.dd}" # 按日期分片创建索引，便于管理
  }
  # 可选：输出到控制台用于调试
  stdout { codec => rubydebug }
}

配置说明 #

1. Input部分：设置codec => "plain"后，Logstash会完整保留HTTP请求的原始体内容到message字段，不会因为内容不是JSON而丢弃请求。
2. Filter部分：
   • 通过[headers][Content-Type]做条件判断，只处理XML类型的请求，避免干扰其他格式的请求。
   • xml过滤器负责将message字段中的XML字符串解析为嵌套的JSON结构，存入xml_payload字段，方便后续在Kibana中查看结构化数据。
   • force_array设为false是为了让单个XML节点（如<id>123</id>）直接解析为键值对，而非数组形式。
3. Output部分：将解析后的结构化数据发送到Elasticsearch，按日期生成索引，后续可在Kibana中创建对应索引模式来查看事件数据。

测试验证 #

用curl发送XML请求测试配置：

curl -X POST http://127.0.0.1:portnumber \
  -H "Content-Type: application/xml" \
  -d '<event><id>123</id><type>error</type><content>test xml event</content></event>'

查看Logstash控制台输出（若开启stdout），应能看到解析后的JSON结构，之后在Kibana中刷新索引模式，即可看到对应的事件数据。

常见排查点 #

• 若仍无数据，检查Logstash日志（默认路径/var/log/logstash/logstash-plain.log），排查是否存在XML格式不合法导致的解析错误。
• 确认Elasticsearch和Kibana的索引模式配置正确，索引名称需与output中的设置一致。

内容的提问来源于stack exchange，提问作者Meme-ento