如何配置Logstash将内部日志写入文件？

我来帮你解决这个Logstash日志捕获的问题，刚好我之前处理过类似的需求，这里给你几个实用的方案，分临时调试和长期配置两种场景：

一、临时调试：命令行输出重定向（最快上手） #

因为你是通过管道命令启动Logstash的，直接在命令行层面把输出重定向到文件是最快捷的方式，还能兼顾实时查看和日志留存：

1. 仅将所有输出写入文件 #

修改你的启动命令，把标准输出（stdout）和标准错误（stderr）都写入同一个日志文件：

gunzip -c -k "somefile.gz" | logstash -f "logstash.conf" > logstash_runtime.log 2>&1

• > logstash_runtime.log：把标准输出写入指定文件
• 2>&1：把标准错误输出（比如Logstash的启动报错、警告）合并到标准输出一起写入文件

2. 同时在终端查看+写入文件 #

如果需要实时看到输出的同时保存日志，用tee命令：

gunzip -c -k "somefile.gz" | logstash -f "logstash.conf" 2>&1 | tee logstash_runtime.log

这样终端会正常显示Logstash的输出，同时所有内容也会被写入logstash_runtime.log文件，非常适合调试过程。

二、长期配置：修改Logstash的日志系统（持久化生效） #

如果需要每次启动Logstash都自动记录运行日志，建议修改Logstash的内置日志配置（它用的是Log4j2）：

1. 找到Logstash的配置目录下的log4j2.properties文件，一般路径是${LOGSTASH_HOME}/config/log4j2.properties（比如Linux下可能是/usr/share/logstash/config/log4j2.properties）

2. 修改rootLogger的输出目标，把原来只指向控制台的配置，新增文件输出：
   找到类似这样的行：

rootLogger.appenderRef.console.ref = console

改成：

rootLogger.appenderRef.console.ref = console, file

3. 在文件末尾添加文件输出的Appender配置：

# 配置文件输出Appender
appender.file.type = File
appender.file.name = file
# 指定日志文件路径，可根据你的需求修改
appender.file.fileName = ${sys:ls.logs}/logstash_full_runtime.log
# 日志格式配置，保留时间、日志级别、类名等关键信息
appender.file.layout.type = PatternLayout
appender.file.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %m%n

• ${sys:ls.logs}是Logstash内置的变量，指向它的默认日志目录，你也可以改成自定义路径（比如/var/log/logstash/run.log）
• 注意要确保Logstash进程有该目录的写入权限

4. 保存配置后重启Logstash，之后每次启动都会自动把所有运行日志（包括启动信息、错误、警告、插件日志等）写入指定文件，不管你用管道还是其他方式启动都生效。

三、补充：捕获处理后的事件日志（可选） #

如果你还想同时记录Logstash处理后的日志事件（比如解析后的Apache日志内容），可以在你的logstash.conf的output部分添加stdout插件，同时输出到终端或文件：

output {
  mongodb {
    # 你的MongoDB配置
    # ...
  }
  # 添加stdout输出，用rubydebug格式便于查看结构化数据
  stdout {
    codec => rubydebug
  }
}

不过要注意，这个输出的是业务事件日志，不是Logstash自身的运行日志，和前面两种方案捕获的内容是互补的。

内容的提问来源于stack exchange，提问作者CDuv