在EC2实例上配置syslog-ng服务器：主机名分组方案问询

别急，我帮你理清楚在EC2上部署syslog-ng并按主机名分组的具体方案——核心就是解决日志源的主机名标识和syslog-ng的分组配置这两个关键点，一步步来：

EC2默认主机名是类似ip-172-31-xx-xx的格式，没法直接满足分组需求，你可以通过两种方式让实例发送自定义主机名：

• 修改EC2实例的系统主机名
  直接给每个EC2实例设置对应业务分组的固定主机名，以Linux为例：

  # 临时设置主机名（重启后失效）
  hostnamectl set-hostname your-custom-group-hostname
  # 写入配置文件永久生效（不同发行版路径略有差异，Ubuntu/Debian是/etc/hostname，RHEL系同理）
  echo "your-custom-group-hostname" > /etc/hostname
  # 更新hosts文件确保本地解析正常
  echo "$(hostname -I) your-custom-group-hostname" >> /etc/hosts
  

• 配置syslog客户端指定发送的主机名
  如果不想修改系统主机名，可以在EC2的syslog客户端（比如syslog-ng或rsyslog）里强制指定发送的主机名字段：

  • 用syslog-ng客户端的话，编辑/etc/syslog-ng/syslog-ng.conf：

    source s_local {
        system();
        internal();
    };
    
    destination d_syslog_server {
        network("your-syslog-server-ip" port(514)
            template-option(override-hostname("your-custom-group-hostname"));
        );
    };
    
    log { source(s_local); destination(d_syslog_server); };
    

  • 用rsyslog客户端的话，在配置文件里添加：

    $LocalHostName your-custom-group-hostname
    *.* @your-syslog-server-ip:514
    

搞定日志源的主机名后，在syslog-ng服务器上配置过滤和分组规则，把不同主机名的日志存到对应位置：

基础：按单个主机名分组 #

编辑服务器的/etc/syslog-ng/syslog-ng.conf，添加以下配置：

# 定义接收日志的源（同时监听UDP和TCP 514端口）
source s_network {
    network(ip("0.0.0.0") port(514) transport("udp") flags(no-multi-line));
    network(ip("0.0.0.0") port(514) transport("tcp") flags(no-multi-line));
};

# 按主机名创建子目录，每天生成日志文件
destination d_host_group {
    file(
        "/var/log/syslog-ng/hosts/${HOST}/${YEAR}-${MONTH}-${DAY}.log"
        create-dirs(yes)
        perm(0644)
        dir-perm(0755)
    );
};

# 路由日志到对应目标
log {
    source(s_network);
    destination(d_host_group);
};

这里的${HOST}变量会自动提取日志中的主机名字段，自动创建对应主机名的子目录，完美实现按主机名分组存储。

进阶：按主机名前缀/业务组分组 #

如果你的遗留要求是按主机名前缀（比如web-*归为Web组，db-*归为DB组），可以用过滤器实现：

# 定义过滤器：匹配Web组主机名
filter f_web_hosts { host("web-*"); };
# 定义过滤器：匹配DB组主机名
filter f_db_hosts { host("db-*"); };

# 对应分组的存储目标
destination d_web_group {
    file("/var/log/syslog-ng/groups/web/${YEAR}-${MONTH}-${DAY}.log" create-dirs(yes));
};
destination d_db_group {
    file("/var/log/syslog-ng/groups/db/${YEAR}-${MONTH}-${DAY}.log" create-dirs(yes));
};

# 配置日志路由规则
log { source(s_network); filter(f_web_hosts); destination(d_web_group); };
log { source(s_network); filter(f_db_hosts); destination(d_db_group); };
# 未匹配分组的主机，默认按单个主机名存储
log {
    source(s_network);
    not(filter(f_web_hosts)) and not(filter(f_db_hosts));
    destination(d_host_group);
};

• 在syslog-ng服务器上检查配置语法是否正确：

  syslog-ng -s
  

• 重启syslog-ng服务生效：

  # Ubuntu/Debian
  systemctl restart syslog-ng
  # RHEL/CentOS
  systemctl restart syslog-ng
  

• 在EC2实例上测试发送日志：

  logger -t test "这是来自自定义主机名的测试日志"
  

  然后去syslog-ng服务器的对应目录下查看是否生成了正确的日志文件。

内容的提问来源于stack exchange，提问作者aannjose