如何使用Filebeat将AWS Fargate上的应用日志导入Elasticsearch？

核心实现思路 #

Fargate是无服务器容器环境，无法直接在底层主机安装Filebeat，因此采用Sidecar容器模式——将Filebeat与Java应用容器放在同一个Task Definition中，通过共享存储卷让Filebeat读取应用的日志文件。

具体操作步骤 #

1. 配置Task Definition #

• 添加共享卷：在Task Definition的Volumes区域，创建一个emptyDir或绑定挂载卷，用于挂载Java应用的日志目录和Filebeat的配置文件目录。
• 定义双容器：
  • Java应用容器：配置将日志输出到共享卷的指定路径（例如/var/log/app/），确保该路径具备可写权限。
  • Filebeat容器：使用官方镜像（如docker.elastic.co/beats/filebeat:8.12.0），将共享卷挂载到容器内的日志目录（如/var/log/app/），同时把自定义的Filebeat配置文件挂载到/usr/share/filebeat/filebeat.yml。

2. 编写Filebeat配置文件 #

关键配置示例（可根据输出目标调整）：

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /var/log/app/*.log  # 对应共享卷中的应用日志路径

# 输出到Elasticsearch的配置
output.elasticsearch:
  hosts: ["your-es-endpoint:9200"]
  username: "${ES_USER}"
  password: "${ES_PASS}"

# 若输出到AWS CloudWatch，替换为以下配置
# output.cloudwatch:
#   region: "us-east-1"
#   log_group_name: "/ecs/your-app-logs"
#   log_stream_prefix: "filebeat-"

注意：如果输出到CloudWatch，建议给Fargate的Task Execution Role添加logs:CreateLogStream、logs:PutLogEvents权限，避免硬编码密钥。

3. 部署与验证 #

• 敏感配置（如密钥）建议通过AWS Secrets Manager挂载，避免直接写入配置文件或镜像。
• 部署Task Definition到Fargate集群后，查看Filebeat容器日志，确认是否正常读取应用日志并输出到目标端。

常见问题排查 #

• 日志权限异常：确保Java应用容器与Filebeat容器对共享卷目录拥有相同的读写权限，可通过设置相同的user或调整目录权限解决。
• 配置文件错误：在本地用filebeat test config -c /usr/share/filebeat/filebeat.yml命令验证配置语法。
• 日志延迟：调整Filebeat的scan_frequency参数（默认10秒），缩短日志扫描间隔。

内容的提问来源于stack exchange，提问作者Nitin k