如何使用Ruby on Rails Docker镜像将日志发送至ELK的Logstash

最近我在尝试用Ruby on Rails的Docker镜像把日志传到ELK架构的Logstash里，翻了一堆教程、代码仓库和文档，踩了不少坑，整理了一些常见问题的解决思路，分享给大家：

一、先把基础配置做扎实 #

1. 确保Rails日志输出到标准输出 #

Docker默认捕获容器的stdout/stderr日志，所以Rails必须把日志打到这里，不然Logstash根本拿不到。在对应的环境配置文件（比如config/environments/production.rb）里加这些配置：

# 把日志输出到标准输出
config.logger = ActiveSupport::Logger.new(STDOUT)
config.log_formatter = ::Logger::Formatter.new

# 如果想让日志格式更适合Logstash解析，推荐用lograge转成JSON格式
config.lograge.enabled = true
config.lograge.formatter = Lograge::Formatters::Json.new

划重点：如果不用JSON格式，后面Logstash的grok匹配很容易出问题，尽量用结构化日志。

2. 保证Docker网络连通 #

Rails容器和Logstash容器必须在同一个Docker网络里，不然它们没法互相通信。在docker-compose.yml里配置共享网络：

version: '3'
services:
  rails-app:
    build: .
    networks:
      - elk-shared-network
    # 其他容器配置（环境变量、端口映射等）...
  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.0
    networks:
      - elk-shared-network
    # 挂载Logstash配置文件，端口映射等...
networks:
  elk-shared-network:
    driver: bridge

二、Logstash 接收端的常见坑 #

1. 输入插件配置要对应Rails的日志格式 #

如果Rails发的是JSON日志，Logstash的输入要用上json_lines codec，避免解析错误。示例logstash.conf：

input {
  tcp {
    port => 5000
    codec => json_lines # 解析JSON格式的日志行
  }
}

filter {
  # 针对Rails JSON日志提取字段（比如controller、action、request_id）
  mutate {
    add_field => { "app_name" => "my-rails-app" }
  }
  # 如果有需要，还可以用date插件处理时间戳
  date {
    match => [ "timestamp", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "rails-logs-%{+YYYY.MM.dd}"
    # 如果ELK开启了安全验证，要加用户名密码
    # user => "elastic"
    # password => "your-secure-password"
  }
  stdout { codec => rubydebug } # 调试用，看日志是否被正确处理
}

如果Rails用的是默认文本日志，就得写grok匹配规则，这个容易出错，所以还是推荐用JSON格式。

2. 权限与连接验证问题 #

• 如果Logstash挂载了本地配置文件，要确保容器有读取权限：可以在docker-compose.yml里设置user: root（调试用，生产环境尽量用专用用户）。
• 如果ELK集群开启了安全功能，Logstash连接Elasticsearch时必须配置正确的用户名和密码，不然会报权限错误。

三、实用调试技巧 #

• 测试网络连通性：在Rails容器里执行telnet logstash 5000（如果没装telnet，先装apt-get install telnet），能通说明网络没问题，不通就检查网络配置和端口是否开放。
• 查看Logstash日志：执行docker-compose logs logstash，看有没有报错，比如connection refused（连不上ES）或者codec parse error（日志格式不匹配），这些都是关键线索。
• 检查Rails日志输出：执行docker-compose logs rails-app，确认日志正常输出到stdout，格式符合预期。
• 用Logstash的stdout输出调试：在Logstash的output里保留stdout { codec => rubydebug }，能实时看到处理后的日志结构，方便调整过滤规则。

内容的提问来源于stack exchange，提问作者Jose A