将Docker容器内Go应用日志导入Elasticsearch的最优方案？

针对你的需求，推荐以下几种无需文件存储、且工具链较新的实现方式，按优先级排序：

方案1：用Filebeat直接采集Docker容器日志（无需修改应用代码） #

这是最省心的方案，Filebeat官方支持Docker输入源，直接对接Docker的日志驱动，跳过文件存储环节。

配置步骤： #

1. 准备Filebeat配置文件filebeat.yml：

filebeat.inputs:
- type: docker
  containers.ids:
    - "你的容器ID或名称"
  containers.stream: "stderr" # 匹配你应用输出的stderr流
  enabled: true

output.elasticsearch:
  hosts: ["你的ES地址:9200"]
  # 若ES开启认证，添加以下配置
  # username: "elastic"
  # password: "你的认证密码"

2. 用Docker启动Filebeat（保持环境隔离，无需宿主机安装）：

docker run -d \
  --name filebeat \
  --user root \
  --volume /var/run/docker.sock:/var/run/docker.sock \
  --volume ./filebeat.yml:/usr/share/filebeat/filebeat.yml \
  docker.elastic.co/beats/filebeat:8.x # 使用官方最新8.x版本

该方案优势：无需修改应用代码，Filebeat自带重试机制，结合Docker的日志缓存，可靠性高，运维成本低。

方案2：修改Go应用，直接将日志发送到Elasticsearch #

如果不想依赖中间件，可直接在Go应用内将日志发送到ES，推荐用成熟日志库配合ES Hook实现：

示例（logrus + Elastic Hook）： #

1. 安装依赖：

go get github.com/sirupsen/logrus
go get github.com/sohlich/elogrus
go get github.com/olivere/elastic/v7

2. 修改代码：

package main

import (
	"github.com/sirupsen/logrus"
	"github.com/sohlich/elogrus"
	"github.com/olivere/elastic/v7"
)

func main() {
	// 建立ES连接
	client, err := elastic.NewClient(elastic.SetURL("http://你的ES地址:9200"))
	if err != nil {
		logrus.Fatal(err)
	}

	// 添加ES Hook，指定日志索引名
	logrus.AddHook(elogrus.NewElasticHook(client, "服务器标识", logrus.InfoLevel, "go-app-logs"))

	// 替换原有log.Println为logrus方法，支持结构化日志
	logrus.Println("Something happened!")
	logrus.WithFields(logrus.Fields{
		"user_id": 123,
		"action":  "submit_order",
	}).Info("用户提交订单")
}

该方案优势：端到端无中间件，适合对日志链路有极简需求的场景；需注意：应用崩溃时未发送的日志可能丢失，高并发场景建议配置异步发送避免阻塞业务。

方案3：Docker journald日志驱动 + Filebeat采集journald #

若你的服务器使用systemd，可配置Docker将日志输出到journald，再用Filebeat采集发送到ES：

配置步骤： #

1. 修改Docker daemon配置/etc/docker/daemon.json：

{
  "log-driver": "journald"
}

重启Docker生效：systemctl restart docker

2. 配置Filebeat采集指定容器的journald日志：
   在filebeat.yml中添加：

filebeat.inputs:
- type: journald
  enabled: true
  include_matches:
    - "CONTAINER_NAME=你的容器名称" # 过滤目标容器日志

output.elasticsearch:
  hosts: ["你的ES地址:9200"]

该方案适合统一管理宿主机所有容器日志，同样无需文件存储，但需调整Docker全局日志驱动，适合有统一日志规划的场景。

方案对比 #

优先推荐方案1，无需修改应用代码，工具链均为官方维护的最新版本，可靠性与易用性兼顾，完全符合你跳过文件存储的需求。

内容的提问来源于stack exchange，提问作者himmip