构建可推送日志至Kibana的自定义Logstash Docker镜像求助

基础建议 #

• 以官方Logstash镜像为基底：选择和你的Elasticsearch、Kibana版本一致的官方镜像，避免兼容性问题。
• 配置文件模块化：将input、filter、output逻辑清晰拆分，或用单文件但结构分层，便于后续维护。
• 用环境变量动态配置：把Elasticsearch地址、认证信息等敏感/可变参数设为环境变量，无需修改镜像即可适配不同环境。
• 先验证配置再打包：在本地运行logstash -f logstash.conf --config.test_and_exit验证配置正确性，再构建镜像。

Dockerfile示例 #

# 选择与ES/Kibana匹配的官方Logstash版本
FROM docker.elastic.co/logstash/logstash:8.11.3

# 删除默认配置文件
RUN rm -f /usr/share/logstash/pipeline/logstash.conf

# 复制自定义配置文件到镜像的pipeline目录
COPY logstash.conf /usr/share/logstash/pipeline/

# 若需自定义grok模式，可复制patterns目录（可选）
# COPY patterns/ /usr/share/logstash/patterns/

# 设置默认环境变量，运行时可覆盖
ENV ELASTICSEARCH_HOST=http://elasticsearch:9200
ENV ELASTICSEARCH_USER=elastic
ENV ELASTICSEARCH_PASSWORD=changeme

配套Logstash配置文件（logstash.conf） #

input {
  # 示例：读取容器挂载的本地日志文件，可替换为tcp、beats等输入源
  file {
    path => "/var/log/app/*.log"
    start_position => "beginning"
    sincedb_path => "/dev/null" # 容器重启后重新读取全量日志
  }
}

filter {
  # 示例：用grok解析Apache/Nginx风格日志，根据自身日志格式调整匹配规则
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  # 解析日志中的时间戳，替换Logstash默认的@timestamp
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
  # 推送日志至Elasticsearch（Kibana从ES检索数据）
  elasticsearch {
    hosts => ["${ELASTICSEARCH_HOST}"]
    user => "${ELASTICSEARCH_USER}"
    password => "${ELASTICSEARCH_PASSWORD}"
    index => "app-logs-%{+YYYY.MM.dd}" # 按天生成索引，便于管理
  }
  # 控制台输出日志，用于调试
  stdout {
    codec => rubydebug
  }
}

构建与运行步骤 #

1. 准备文件：将上述Dockerfile和logstash.conf放在同一目录下。
2. 构建镜像：

docker build -t custom-logstash .

3. 运行容器（需确保与Elasticsearch网络连通）：

docker run -d \
  --name custom-logstash \
  --network elastic-network \ # 若Elasticsearch在该Docker网络内
  -v /本地日志目录路径:/var/log/app \ # 挂载本地日志到容器内
  -e ELASTICSEARCH_HOST=http://你的ES地址:9200 \
  -e ELASTICSEARCH_PASSWORD=你的ES密码 \
  custom-logstash

注意事项 #

• 网络连通：确保Logstash容器能访问Elasticsearch，可通过Docker网桥网络或配置公网可访问的ES地址。
• 权限问题：挂载日志目录时，需保证容器内的logstash用户（UID 1000）有读取权限，可通过修改目录权限或指定--user参数调整。
• Kibana索引配置：日志推送到ES后，需在Kibana中创建对应索引模式，才能在仪表板中查看和分析日志。

内容的提问来源于stack exchange，提问作者Ali