如何用Filebeat侧车容器将ECS Fargate应用日志发至自建ElasticSearch？

核心问题排查与修正 #

你的Filebeat容器运行但无法发送日志，核心问题大概率是共享卷挂载未配置或Fargate环境下不适用Docker自动发现，以下是分步解决指南：

1. 配置Task Definition共享卷 #

在ECS Task Definition中，必须创建共享卷让应用容器和Filebeat侧车容器共享日志目录：

• 定义一个空卷（Fargate下默认使用emptyDir类型）
• 应用容器将日志目录/Server/logs挂载到共享卷
• Filebeat容器将共享卷挂载到/mnt/logs（对应你的配置路径）

示例Task Definition关键配置片段（JSON）：

"volumes": [
  {
    "name": "app-logs",
    "host": {}
  }
],
"containerDefinitions": [
  {
    "name": "node-app",
    "image": "your-node-app-image",
    "mountPoints": [
      {
        "sourceVolume": "app-logs",
        "containerPath": "/Server/logs",
        "readOnly": false
      }
    ],
    // 其他配置：端口5000、环境变量等
  },
  {
    "name": "filebeat-sidecar",
    "image": "your-custom-filebeat-image",
    "mountPoints": [
      {
        "sourceVolume": "app-logs",
        "containerPath": "/mnt/logs",
        "readOnly": true
      }
    ]
  }
]

2. 修正Filebeat配置 #

Fargate环境无法访问Docker Socket，因此禁用Docker自动发现，改用静态日志采集配置，修正后的filebeat.yml：

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - "/mnt/logs/*.log"
    # 可选：添加自定义字段用于日志筛选
    fields:
      service: "node-app"
      env: "production"

# 禁用未使用的模块
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

# 输出到同VPC内的Logstash，替换为EC2私网IP
output.logstash:
  hosts: ["10.0.XX.XX:5044"]

processors:
  - add_cloud_metadata: ~
  - add_host_metadata: ~

3. 验证网络连通性 #

确保以下网络规则配置正确：

• ECS Task的安全组允许出站访问EC2的5044端口
• Logstash所在EC2的安全组允许来自ECS Task安全组的5044端口入站流量
• Logstash配置监听0.0.0.0:5044（而非仅127.0.0.1）

4. 调试排查 #

若仍无日志，进入Filebeat容器执行以下命令排查：

# 验证配置文件合法性
filebeat test config
# 测试与Logstash的连接
filebeat test output
# 查看Filebeat运行日志
tail -f /var/log/filebeat/filebeat.log

关键注意事项 #

• Fargate不支持Docker Socket访问，不要使用Docker自动发现功能
• 必须通过共享卷实现侧车容器与应用容器的日志目录共享
• 优先使用EC2私网IP访问Logstash，避免公网流量并确保VPC内网络可达

内容的提问来源于stack exchange，提问作者Abhishek Singh