如何在ELK中移除字段内冗余内容，仅保留末尾状态值？

一、数据入库前在Logstash中处理（优先推荐） #

在Logstash的filter阶段直接修改remain_logs字段内容，用mutate插件的gsub功能配合正则，只保留末尾的状态值。配置示例：

filter {
  # 保留你原有的解析逻辑（比如用grok拆分出commtype、info等独立字段）
  mutate {
    gsub => [
      # 匹配字段内从开头到最后一个空格的所有内容，替换为空
      "remain_logs", "^.*\s", ""
    ]
  }
}

这种方式在数据入ES前就完成处理，避免后续在ES中批量修改的额外开销。正则^.*\s会精准匹配到最后一个空格之前的所有字符，替换后就只剩UPDATED/DELETED/CREATED这些状态值。

二、已存入Elasticsearch的数据修正 #

如果数据已经写入ES，用Elasticsearch的_update_by_queryAPI结合Painless脚本批量修正：

POST /你的索引名称/_update_by_query
{
  "script": {
    "source": """
      // 把remain_logs按空格分割成字符串数组
      String[] parts = ctx._source.remain_logs.split(' ');
      // 取数组最后一个元素覆盖原字段
      ctx._source.remain_logs = parts[parts.length - 1];
    """,
    "lang": "painless"
  },
  "query": {
    // 只针对存在remain_logs字段的文档执行修改
    "exists": {
      "field": "remain_logs"
    }
  }
}

执行前建议先在测试环境验证，或者添加?refresh=true参数确保修改立即生效。

关于你之前的尝试 #

mutate { remove_field{} }是用来删除整个字段的，而你需要的是修改字段内容、保留部分值，所以这个配置完全不匹配你的需求，自然不会生效。

内容的提问来源于stack exchange，提问作者Adia Adia