如何通过Logstash将JSON文件正确导入Elasticsearch？

你遇到的核心问题是Logstash把JSON文件的每一行都当成独立事件处理，没有解析出完整的JSON对象。这主要源于两个问题：JSON文件存在语法错误，以及Logstash配置缺少JSON解析和必要的多行处理逻辑。下面是分步解决方案：

1. 先修复JSON文件的语法错误 #

你的JSON内容里第二个对象存在语法缺陷："color": "Yellow"后面缺少分隔逗号，导致整个JSON无效。修改后的正确内容如下：

{ "fruit": "Apple", "size": "small", "color": "Red" }, 
{ "fruit": "Papaya", "size": "Large", "color": "Yellow", "test" : "sweet" }

更推荐使用JSON Lines格式（每行一个完整JSON对象），这会让Logstash处理更简单：

{ "fruit": "Apple", "size": "small", "color": "Red" }
{ "fruit": "Papaya", "size": "Large", "color": "Yellow", "test" : "sweet" }

2. 修改Logstash配置，添加JSON解析逻辑 #

场景一：JSON文件是每行一个对象（推荐方案） #

更新你的配置文件，添加json过滤器来解析message字段中的JSON内容，同时注意Windows系统的空设备路径差异：

input { 
  file { 
    type => "json" 
    path => "C:\Users\Desktop\newJSON.json" 
    start_position => "beginning" 
    sincedb_path => "NUL"  # Windows下用NUL替代Unix系统的/dev/null
  } 
}

filter {
  # 将message字段中的JSON字符串解析为结构化数据
  json {
    source => "message"
  }
}

output { 
  stdout { codec => rubydebug } 
  elasticsearch { hosts => "localhost:9200" index => "jsondata1" } 
}

场景二：JSON保持多行格式（每个对象跨多行） #

如果不想修改JSON文件结构，需要配置multiline codec来聚合完整的JSON对象，再进行解析：

input { 
  file { 
    type => "json" 
    path => "C:\Users\Desktop\newJSON.json" 
    start_position => "beginning" 
    sincedb_path => "NUL"
    # 聚合多行JSON：以{开头的行作为新事件起点，其余行合并到前一行
    codec => multiline {
      pattern => '^\{'
      negate => true
      what => "previous"
    }
  }
}

filter {
  # 清理聚合后的多余字符（换行、末尾冗余逗号）
  mutate {
    gsub => [
      "message", "\s*,\s*$", "",  # 移除行末多余的逗号
      "message", "\r|\n", ""      # 清除换行和回车符
    ]
  }
  # 解析JSON，跳过无效内容避免报错中断
  json {
    source => "message"
    skip_on_invalid_json => true
  }
}

output { 
  stdout { codec => rubydebug } 
  elasticsearch { hosts => "localhost:9200" index => "jsondata1" } 
}

3. 验证结果 #

重新运行Logstash命令：

logstash -f logstashcon.conf

之后查询Elasticsearch的jsondata1索引，你会看到两个完整的结构化文档，每个文档包含fruit、size、color等字段，不再是被拆分的单行文本。

内容的提问来源于stack exchange，提问作者Gaurav