Logstash使用ruby过滤器移除嵌套字段中间层级问题求解

你之前写的逻辑不生效，全是基础语法和字段引用的问题：

• Ruby字符串插值仅在双引号包裹的字符串中生效，你所有写'topLevelField.#{key}'的位置都用了单引号，#{key}不会被替换成实际字段名，会被当成普通字符串处理，根本无法正确设置字段
• 嵌套字段路径引用错误：第三段测试代码里event.get(keyToRemove)是直接读取根层级的fieldToRemove字段，没有拼接topLevelField前缀，压根拿不到中间层的字段值
• 部分逻辑缺少删除原中间层字段的步骤，就算字段上移成功，旧的冗余字段也会残留
• 没有做字段类型校验，一旦目标字段不存在、或者值不是哈希结构，代码会直接抛错中断pipeline，Logstash会直接跳过这段ruby逻辑

把下面的代码放到filter块里即可，你可以根据自己的业务需求修改中间字段的判断条件：

filter {
  ruby {
    code => "
      # 读取顶层固定字段，不存在则直接跳过
      top_level_field = event.get('topLevelField')
      next unless top_level_field.is_a?(Hash)

      top_level_field.each do |mid_key, mid_value|
        # 这里写需要移除的中间字段匹配规则，示例是匹配固定字段名，也可以换成正则判断
        next unless mid_key == 'fieldToRemove'
        # 中间层值不是哈希结构（比如是字符串、数字）就跳过，避免报错
        next unless mid_value.is_a?(Hash)

        # 把末层字段全部提升到顶层字段下
        mid_value.each do |keep_key, keep_value|
          event.set("[topLevelField][#{keep_key}]", keep_value)
        end

        # 字段迁移完成后删除原中间层字段
        event.remove("[topLevelField][#{mid_key}]")
      end
    "
  }
}

• Logstash的ruby插件操作嵌套字段时，优先用[一级字段][二级字段]的方括号路径语法，比点分隔写法兼容性更好，不会和字段名本身带.的场景冲突
• Ruby里{ ... }和do ... end只是代码块的两种写法，执行逻辑完全一致，换写法不会解决你的问题
• 所有读取哈希字段的操作前，最好先判断值类型是不是Hash，避免遇到异常值导致整个filter执行失败
• 字符串插值必须搭配双引号使用，单引号内的所有内容都会被当成普通字面量处理

内容的提问来源于stack exchange，提问作者Lucas Praça