Logstash基于IP映射批量添加sysname字段的实现方案求助

1. 优先使用Logstash Translate过滤器（无需自定义插件） #

针对2500台设备的IP-sysname映射需求，Translate过滤器是最适合的方案，比批量if条件或自定义过滤器更高效易维护。

配置流程 #

• 准备IP与设备名称的映射文件（YAML格式），例如device_ip_mapping.yml：

10.0.0.1: "Core-Router-01"
10.0.0.2: "Access-Switch-01"
# 补充剩余2498条IP-sysname映射

• 在Logstash的filter区块中添加Translate配置（替换实际字段名和文件路径）：

filter {
  # 仅对syslog类型的日志处理
  if [type] == "syslog" {
    translate {
      field => "host"  # 替换为你日志中存储设备IP的字段（比如source_ip）
      destination => "sysname"
      dictionary_path => "/opt/logstash/config/device_ip_mapping.yml"  # 映射文件的绝对路径
      fallback => "Unknown-Device"  # 未匹配到IP时的默认值
    }
  }
}

2. 替代方案：Elasticsearch Enrich Processor #

如果更倾向于在Elasticsearch侧处理，可以使用Enrich功能：

• 创建包含IP-sysname映射的数据集，导入到Elasticsearch
• 定义Enrich Policy，配置匹配字段（设备IP）和待添加字段（sysname）
• 在索引模板或Ingest Pipeline中添加Enrich Processor，自动为写入的日志文档补充sysname字段

3. 不推荐自定义过滤器的原因 #

• 自定义过滤器需要编写Ruby代码，开发和维护成本高，且官方插件已覆盖该场景
• Translate插件经过官方优化，在处理大量键值映射时性能更稳定，无需重复造轮子

内容的提问来源于stack exchange，提问作者Altas dallas