如何正确配置Filebeat、Metricbeat与Kibana？AWS架构方案合理性咨询

首先得明确：用Filebeat/Metricbeat采集Elastic Beanstalk实例的日志和指标，发送到独立EC2（或托管服务）上的Elasticsearch+Kibana，这是ELK栈在AWS环境下的经典落地方式，完全适配你的预发布/生产环境监控需求，方向没毛病。

可做的优化点 #

我结合自己在AWS上的实践，给你列几个实用的优化方向：

• 替换自建ES为Amazon OpenSearch Service：自建EC2的ES需要自己维护高可用、备份、安全补丁，而AWS托管的OpenSearch Service直接提供这些能力，还能和IAM无缝集成，减少运维成本。
• 自动化Beats部署：别手动在每台Beanstalk实例装Beats，用Beanstalk的.ebextensions配置文件写安装脚本，环境扩容时会自动给新实例装上Beats，省得重复操作。
• 强化安全机制：
  • 把ES/OpenSearch放进VPC私有子网，禁止公网访问，只允许Beanstalk实例和内部IP访问
  • 用AWS IAM角色替代硬编码的API密钥：给Beanstalk的EC2实例角色添加访问OpenSearch的权限，Beats配置里直接启用AWS认证，不用存敏感信息
  • 开启Beats和ES之间的TLS加密，避免数据传输泄露
• 数据隔离与治理：
  • 给预发布和生产环境的Beats加不同的tags或fields，在ES里用不同的索引前缀（比如filebeat-prod-*和filebeat-staging-*）
  • 在Kibana里创建独立的Space，分别对应生产和预发布，避免团队成员误操作
• 减少不必要的数据：在Filebeat里用processors过滤掉无用日志（比如健康检查的重复请求、测试用的调试日志），降低ES的存储压力和成本
• 监控Beats自身：用Metricbeat采集Filebeat/Metricbeat的运行指标，确保采集服务本身稳定，避免出现“监控工具挂了却不知道”的情况

具体配置指南 #

1. Filebeat配置（Beanstalk环境） #

第一步：用.ebextensions自动安装Filebeat

在你的应用代码根目录创建.ebextensions/filebeat.config文件，内容如下：

files:
  "/etc/yum.repos.d/elastic.repo":
    mode: "000644"
    owner: root
    group: root
    content: |
      [elastic-8.x]
      name=Elastic repository for 8.x packages
      baseurl=https://artifacts.elastic.co/packages/8.x/yum
      gpgcheck=1
      gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
      enabled=1
      autorefresh=1
      type=rpm-md

commands:
  01_install_filebeat:
    command: yum install filebeat -y
  02_enable_filebeat:
    command: systemctl enable --now filebeat

部署应用时，Beanstalk会自动执行这些命令安装并启动Filebeat。

第二步：配置Filebeat采集日志

编辑/etc/filebeat/filebeat.yml（可以通过.ebextensions的files模块提前写入）：

# 采集Beanstalk的应用日志（默认路径）
filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /var/log/web.stdout.log
    - /var/log/web.stderr.log
  # 标记环境，方便后续过滤
  fields:
    environment: production # 预发布环境改成staging
  fields_under_root: true

# 输出到ES/OpenSearch，用AWS IAM认证
output.elasticsearch:
  hosts: ["https://your-opensearch-endpoint:443"]
  protocol: https
  aws:
    enabled: true
    region: "us-east-1" # 替换成你的AWS区域

# 自动导入Kibana仪表盘
setup.dashboards.enabled: true
setup.kibana:
  host: "https://your-kibana-endpoint:443"

重启Filebeat：systemctl restart filebeat

2. Metricbeat配置 #

和Filebeat类似，先通过.ebextensions安装：

files:
  "/etc/yum.repos.d/elastic.repo":
    mode: "000644"
    owner: root
    group: root
    content: |
      [elastic-8.x]
      name=Elastic repository for 8.x packages
      baseurl=https://artifacts.elastic.co/packages/8.x/yum
      gpgcheck=1
      gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
      enabled=1
      autorefresh=1
      type=rpm-md

commands:
  01_install_metricbeat:
    command: yum install metricbeat -y
  02_enable_metricbeat:
    command: systemctl enable --now metricbeat

然后配置/etc/metricbeat/metricbeat.yml：

# 开启系统指标采集
metricbeat.modules:
- module: system
  metricsets:
    - cpu
    - memory
    - diskio
    - network
    - filesystem
  enabled: true
  period: 10s
  fields:
    environment: production
  fields_under_root: true

# 输出配置和Filebeat一致
output.elasticsearch:
  hosts: ["https://your-opensearch-endpoint:443"]
  protocol: https
  aws:
    enabled: true
    region: "us-east-1"

# 导入仪表盘
setup.dashboards.enabled: true
setup.kibana:
  host: "https://your-kibana-endpoint:443"

重启Metricbeat：systemctl restart metricbeat

3. Kibana配置 #

如果用Amazon OpenSearch Service，直接访问控制台提供的Kibana端点即可：

• 创建索引模式：进入Kibana -> Stack Management -> Index Patterns，分别创建filebeat-*和metricbeat-*的索引模式，设置@timestamp为时间字段
• 配置空间：进入Stack Management -> Spaces，创建Production和Staging两个空间，分别对应各自的索引模式，给不同团队成员分配对应空间的权限
• 查看可视化：在Kibana的Discover里可以搜索日志，Dashboard里能看到Beats自带的预定义仪表盘（比如系统监控、日志分析面板）

注意事项 #

• 确保Beats的版本和ES/Kibana的版本完全一致，否则会出现兼容性问题
• 先在预发布环境验证配置，确认数据能正常采集到Kibana后再推到生产
• 给ES配置索引生命周期管理（ILM），自动删除旧索引，降低存储成本

内容的提问来源于stack exchange，提问作者littleibex