Spring Boot控制台JSON日志无法通过Logstash同步至Elasticsearch排查

1. 进程间输出未正确管道（最常见原因） #

Logstash的stdin输入仅读取自身进程的标准输入，不会自动捕获其他进程（比如你的Spring Boot应用）的控制台输出。你需要将Spring Boot的日志输出通过管道传递给Logstash进程：

• 直接启动并管道输出：

  java -jar your-spring-boot-app.jar | bin/logstash -f your-logstash-config.conf
  

• 后台运行场景可借助nohup维持管道：

  nohup java -jar your-spring-boot-app.jar | bin/logstash -f your-logstash-config.conf &
  

2. Logback的JSON日志格式不符合解析要求 #

Logstash的json编解码器要求每一行输入都是完整合法的单行JSON字符串，如果Logback输出的JSON存在换行、语法错误（如引号不匹配、逗号缺失），会被Logstash直接丢弃。

• 确保使用正确的JSON编码器（如net.logstash.logback.encoder.LogstashEncoder），输出单行JSON：
  示例Logback配置片段：

  <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
      <encoder class="net.logstash.logback.encoder.LogstashEncoder">
          <fieldNames>
              <timestamp>@timestamp</timestamp>
              <message>message</message>
              <!-- 按需配置其他字段映射 -->
          </fieldNames>
      </encoder>
  </appender>
  

• 手动验证：直接运行Spring Boot，检查控制台输出是否为每行一个完整的JSON对象，无格式错误。

3. Logstash Elasticsearch输出配置异常 #

• 检查ES连接信息：确认hosts地址、端口正确，若ES开启认证，需添加user和password配置：

  output {
      elasticsearch {
          hosts => ["http://localhost:9200"]
          index => "logs"
          # user => "elastic"
          # password => "your-auth-password"
      }
  }
  

• 确认索引状态：若ES关闭了自动创建索引功能，需手动创建logs索引或配置索引模板；
• 查看Logstash日志（默认路径logs/logstash-plain.log），排查是否存在ES连接失败、权限不足等报错。

4. Logstash数据被过滤或丢弃 #

• 检查配置中的filter段：是否存在drop或条件判断逻辑导致数据被丢弃，比如：

  filter {
      if [level] != "ERROR" {
          drop {}
      }
  }
  

• 临时添加stdout输出验证：在Logstash配置中加入stdout输出，确认数据是否被正确接收解析：

  output {
      stdout { codec => rubydebug }
      elasticsearch {
          # 你的ES配置
      }
  }
  

  启动后若能看到rubydebug格式的日志，说明问题出在ES输出环节；若看不到，说明数据未被接收或解析失败。

5. Elasticsearch查询范围问题 #

• 确认索引名称匹配：确保查询的索引与Logstash配置的index参数一致；
• 检查时间范围：Logstash默认将日志时间映射为@timestamp，若查询时间范围未覆盖日志生成时间，会返回空结果。示例SQL查询需指定时间范围：

  SELECT * FROM logs WHERE @timestamp >= NOW()-1h
  

内容的提问来源于stack exchange，提问作者user3458271