多台EC2上Filebeat对接单Logstash实例报错如何解决？

报错根因 #

Error: Cannot assign requested address是配置逻辑错误+语法错误共同导致的，核心问题有四点：

• beats input插件的host参数作用是指定Logstash进程要绑定监听的本地网卡IP，不是用来配置允许接入的远端Filebeat地址。你在配置里填的是两台Filebeat所在EC2的私有IP，Logstash运行在自身实例上，本地网卡根本不存在这两个IP，自然无法完成端口绑定，直接抛出地址不可用的错误。
• 两个配置文件中beats input的port参数为空，没有指定实际监听端口，就算host配置正确也无法正常启动监听服务。
• 配置语法不符合Logstash规范：Logstash配置段中参数赋值需要使用=>而不是冒号，语法错误也会导致配置加载失败。
• 实现逻辑错误：beats input本身不支持在同一端口上按远端发送源IP拆分独立监听实例，靠拆分两个配置文件分别对接两台Filebeat的设计逻辑本身就不成立。

正确实现方案 #

1. 修正基础监听配置
   删掉原来两个分别绑定Filebeat IP的独立配置文件，合并为单个beats input监听配置，host参数绑定Logstash实例本地的网卡地址：如果需要接收所有网卡的传入流量，直接填0.0.0.0即可；如果只监听私有网卡，就填Logstash实例自身的私有IP。端口选择一个未被占用的端口（默认常用5044），配置示例：

   input {
     beats {
       port => 5044
       host => "0.0.0.0"
     }
   }
   

2. 区分两台EC2的日志来源
   不需要靠拆分独立监听实例区分来源，两种常用方案二选一即可：
   • 方案一：Filebeat端打标
     在A、B两台EC2的Filebeat配置中添加自定义字段标识来源，比如A机器Filebeat配置添加：

     fields:
       log_source: "ec2_a"
     

     B机器对应字段值设为ec2_b，Logstash可以直接读取该字段做后续分流、差异化处理。
   • 方案二：Logstash端自动识别
     不需要修改Filebeat配置，在Logstash的filter段通过日志自带的发送端IP、beat主机名字段自动识别来源，示例配置：

     filter {
       if [host][ip] == "EC2-A的私有IP" {
         tags => ["from_ec2_a"]
         # 此处写A机器日志专属处理逻辑，比如输出到指定ES索引
       } else if [host][ip] == "EC2-B的私有IP" {
         tags => ["from_ec2_b"]
         # 此处写B机器日志专属处理逻辑
       }
     }
     

3. 网络连通性校验
   • 检查Logstash所在EC2的安全组入站规则，放开你配置的beats监听端口（比如5044），源地址设置为A、B两台EC2的私有IP。
   • 检查A、B两台机器的Filebeat输出配置，确认输出目标地址为Logstash实例的私有IP+监听端口，不要填错成本机IP或其他地址。
   • 访问控制直接通过EC2安全组、本机防火墙实现即可，不需要在Logstash的beats input配置中绑定远端发送端IP。

如果确实需要用两个独立端口分别接收两台机器的日志，可以配置两个beats input，分别使用不同的端口（比如5044、5045），host参数都绑定0.0.0.0，再将两台Filebeat的输出地址分别对应到不同端口即可，只是这种方案灵活性差，生产环境更推荐用字段打标的方式区分来源。

内容的提问来源于stack exchange，提问作者Krishna Prasad