如何在Logstash中判断字段首字符为-或_并执行替换操作

你可以直接使用mutate过滤器的gsub正则替换能力完成需求，无需额外的条件判断分支，正则规则会自动匹配符合要求的首字符执行替换。

基础配置示例（替换匹配的首字符为空） #

filter {
  mutate {
    gsub => [
      "Kafka-topic-name", "^[-_]", ""
    ]
  }
}

参数说明 #

• gsub是mutate过滤器内置的字符串替换参数，接收固定格式的三元组数组：[目标字段名, 匹配正则表达式, 替换内容]
• 正则^[-_]中，^表示严格匹配字符串的起始位置，[-_]表示匹配-或_中的任意一个字符
• 上述示例会将Kafka-topic-name字段开头的-/_直接删除，如果你需要替换为其他指定字符，比如替换为normal，只需将第三个参数修改为对应值即可，比如"normal"

优化配置（避免字段不存在时报错） #

如果你的数据流中可能存在缺失Kafka-topic-name字段的情况，可以新增字段存在性判断逻辑：

filter {
  if [Kafka-topic-name] {
    mutate {
      gsub => [
        "Kafka-topic-name", "^[-_]", ""
      ]
    }
  }
}

拓展场景：替换所有连续的开头特殊字符 #

如果你需要把字段开头连续多个-/_都替换掉（比如---_test_topic需要把前4个特殊字符全部处理），只需修改正则为^[-_]+即可，+表示匹配前面规则一次及以上。

内容的提问来源于stack exchange，提问作者Rupali Akhade