日志聚类是指将相似度高的日志进行聚合，提取共同的日志 Pattern，从而快速从大量的日志数据中提取概要信息，掌握日志全貌。提取出来的日志信息，可用于问题定位、异常检测、版本回归等运维动作。

功能介绍

日志服务支持对经任意条件过滤后的日志数据进行聚类，提取相似的 Pattern，以便快速掌握日志全貌，从而快速识别出重点关注日志。支持根据分类反查原始数据，支持将聚类结果添加到仪表盘进行分析与监测。

• 日志聚类：借助聚类算法将大量的日志数据分组成不同的模式，使得相似的日志条目被放在一起。
• 日志 Pattern：日志模板，表示一组具有相似特征的日志，每个日志 Pattern 会有一个或多个子 Pattern。
• 日志模板：用于调整聚类算法的精度，精度数值越大，则表示聚类结果分类细，保留更多 Pattern 细节。
• 对比时间点：用于对比在两个时段内日志 Pattern 的日志数量。

计费说明

日志聚类目前为邀测功能，暂不收取费用，后续收费时间另行通知。

前提条件

• 已采集日志。
• 已为日志配置索引。如需设置日志聚类白名单或黑名单，还需配置键值索引。

开启日志聚类步骤

1. 登录日志服务控制台。
2. 在顶部导航栏中，选择日志服务所在的地域。
3. 在左侧导航栏中，选择常用功能 > 检索分析。
4. 在检索分析页面的左侧列表中，选择指定的日志项目和日志主题。
5. 在日志主题的检索分析页面，单击索引配置，进入索引配置页面。
6. 在索引配置页面，勾选日志聚类，然后设置日志聚类的白名单或黑名单。
   • 无黑白名单：对所有字段进行聚类。
   • 白名单：仅对白名单中的字段进行聚类。
   • 黑名单：聚类时排除黑名单中的字段。

   说明

   配置特征字段前需先开启日志主题的键值索引。

7. 单击确定。

使用日志聚类步骤

查看聚类结果

当用户收到告警或其他异常时，到日志检索页面，快速查看聚类后到日志，以便快速掌握日志全貌，和查看明细日志。

1. 登录日志服务控制台。
2. 在顶部导航栏中，选择日志服务所在的地域。
3. 在左侧导航栏中，选择常用功能 > 检索分析。
4. 在检索分析页面的左侧列表中，选择指定的日志项目和日志主题。
5. 在日志主题的检索分析页面，指定时间范围。
   时间范围默认为 5 分钟，您也可以自定义检索的时间范围。日志数据的存储时间不在指定的查询时间范围内时，该数据不会被检索到。
6. 输入检索条件，并单击搜索。
7. 在日志直方图图表下方，单击日志聚类，查看聚类结果。

调整日志聚类精度

聚类算法的精度数值越大，则表示聚类结果分类越细，模板保留更多 Pattern 细节。
在日志聚类页签的模板中，调整聚类算法精度，精度范围：1-16。

对比日志聚类结果

日志聚类支持按时间对比能力，用于查看特定时间范围内聚类结果的变化情况。比如当用户收到告警或其他异常时，可以对比近一段时间，故障发生时的前后时间的日志情况变化。

1. 在日志聚类页签，单击选择对比时间点。
2. 选择对比的时间点，支持如下模式：
   • 关闭：不选择时间。
   • 快速选择：支持快速选择距离检索时间范围的某个时间，如5分钟前、15分钟前、1小时前、3小时前、1天前、7天前、30天前，或自定义时间段。
   • 手动选择：手动选择具体的时间范围。

获取日志聚类分析语句

支持复制日志聚类语句，根据实际需要用于 SQL 统计分析。
在日志聚类页签，单击复制聚类分析语句，可将聚类分析语句复制到剪贴板。

• 未设置检索分析语句的日志聚类分析语句示例

  • 关闭对比时间

    * | select a.count, a.pattern, a.signature, a.origin_signatures, a.model_version from (select log_reduce(16) as a) order by a.count desc limit 1000
    

  • 设置对比时间

    * | select v.signature, v.pattern, v.count, v.count_compare, v.diff, v.model_version from (select compare_log_reduce(16, 2592000000) as v ) order by v.diff desc limit 1000 
    

• 字段说明

  字段	说明
  pattern	日志的具体模式。
  count	当前指定的查询时间段内，该模式对应的日志条数。
  signature	该模式的签名。
  origin_signatures	该模式的二级签名，可以通过二级签名，反查原始数据。
  count_compare	在前一时间段内，该模式对应的日志数量。
  diff	count 和 count_compare 的差值。

添加日志聚类结果至仪表盘

当日志聚类的查询语句、日志精度设置相对固定后，可将日志聚类添加到仪表盘内保存，以便后续查看。保存时会记录查询语句和精度设置。

1. 在日志聚类页签，单击添加到仪表盘。

2. 在添加到仪表盘弹窗中，设置如下信息：

   参数	说明
   图表名称	图表的名称。
   目标仪表盘	添加图表盘的目标仪表盘。 已有仪表盘：将当前统计图表添加到一个已有仪表盘中。 新建仪表盘：新建一个仪表盘，并将当前统计图表添加进去。
   仪表盘	仪表盘的名称。
   描述	目标仪表盘指定为新建仪表盘时，可以设置新仪表盘的描述信息。

3. 单击确定。

关闭日志聚类功能

1. 登录日志服务控制台。
2. 在顶部导航栏中，选择日志服务所在的地域。
3. 在左侧导航栏中，选择常用功能 > 检索分析。
4. 在检索分析页面的左侧列表中，选择指定的日志项目和日志主题。
5. 在日志主题的检索分析页面，单击索引配置，进入索引配置页面。
6. 在索引配置页面，取消勾选日志聚类，​单击确定。