基于Kibana的Elasticsearch日志消息拼接优化方案咨询

我的应用日志在Elasticsearch中以多文档形式存储，每个文档的message字段对应日志文件的一行。现需归集同属一个日志文件的所有文档，将各文档的message字段值拼接为完整的日志文本。

我使用Kibana 6.8.1中的Vega-Lite 2.4.0可视化组件尝试实现，目前已完成消息拼接，但无法添加分隔空格或实现文本换行。求最优解决方案，或指导如何配置Vega-Lite实现消息间的空格分隔与文本换行。

解决方案 #

1. 替换聚合逻辑，用窗口收集+字符串拼接实现精准控制 #

Vega-Lite 2.x中的sum聚合并不适合字符串拼接场景，改用window变换的collect操作先按顺序收集所有日志行，再通过join方法指定分隔符（空格或换行符）完成拼接。

2. 核心配置修改 #

• 用\n作为分隔符实现每行日志单独换行
• 若需空格分隔，将join('\\n')替换为join(' ')即可

修改后的完整配置代码 #

{
  "$schema": "https://vega.github.io/schema/vega-lite/v2.json",
  "title": "Logs",
  // 定义数据源
  "data": {
    "url": {
      // 指定要搜索的索引
      "index": "*",
      "body": {
        "size": 100,
        "sort": {
          "@timestamp": {
            "order": "asc"
          }
        },
        "query": {
          "match": {
            "kubernetes.container_name": "istio-proxy"
          }
        },
        "_source": ["message"]
      }
    },
    "format": { "property": "hits.hits" }
  },
  "transform": [
    // 按时间顺序收集所有message字段到数组
    {
      "window": [
        {
          "field": "_source.message",
          "op": "collect",
          "as": "all_messages"
        }
      ],
      "frame": [null, null]
    },
    // 拼接所有日志行，用换行符分隔
    {
      "calculate": "'The log is : ' + datum.all_messages.join('\\n')",
      "as": "formatted_message"
    },
    // 去重，仅保留一条完整的拼接结果
    {
      "aggregate": [
        {
          "field": "formatted_message",
          "op": "max",
          "as": "final_message"
        }
      ]
    }
  ],
  "mark": {
    "type": "text"
  },
  "encoding": {
    "text": {
      "field": "final_message",
      "type": "nominal",
      "fontSize": 15,
      "linebreak": true
    }
  },
  "config": {
    "text": {
      "fontStyle": "normal",
      "color": "red"
    }
  }
}

关键改动说明 #

• window变换的collect操作会按@timestamp的排序顺序，把所有message字段值收集到all_messages数组中
• join('\\n')将数组元素用换行符拼接，确保每条日志单独占一行；若需要空格分隔，改为join(' ')即可
• 最后通过aggregate的max操作去重，避免因窗口变换生成多条重复的拼接结果
• 保留linebreak: true配置，确保可视化组件能识别换行符并正确换行

内容的提问来源于stack exchange，提问作者Oraib EDghaim