Kibana创建metric时如何基于日志正则统计唯一用户数
Kibana基于正则实现站点唯一访问用户数统计方案
完全可以通过正则提取+基数聚合的组合实现需求,不需要依赖提前拆分好的独立邮箱字段,适配你当前整行日志存在单一文本字段的场景。
核心实现逻辑
你之前接触的基于固定独立字段的唯一计数方案,本质是对字段值做去重统计;当前场景只需要把「从原始整行日志中提取邮箱值」的环节嵌入到聚合计算流程中,就能复用同样的计数逻辑。
步骤1:确定精准匹配日志格式的提取规则
你的日志固定格式为 <date> <user1@gmail.com> - <log message> <client>,为了精准提取尖括号包裹的标准邮箱、避免误抓日志正文里的类似格式内容,对应正则规则为:
- 匹配模式:
<([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})> - 提取值:正则捕获组1为纯邮箱字符串,不会附带外层的尖括号,也不会把日志中其他位置无@符号的尖括号内容(比如日期、IP地址、状态码)误判为用户邮箱。
步骤2:在Kibana可视化中配置唯一计数指标
- 进入对应日志索引的可视化创建页,选择指标类可视化模板
- 指标类型选择
Unique Count(即基数聚合,用于计算去重后的唯一值总数) - 字段选择环节切换到脚本输入模式,不选择现有固定字段
- 在Painless脚本输入框中,填入基于上述正则的提取逻辑:
// 读取整行日志的keyword类型字段值,替换成你实际存储整行日志的字段名 def raw_log = doc['message.keyword'].value; // 匹配日志中的标准邮箱格式 def email_matcher = /<([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})>/.matcher(raw_log); // 无有效邮箱匹配的日志直接返回空,不参与计数 if (!email_matcher.find()) { return null; } // 返回提取到的邮箱值,交给基数聚合做去重统计 return email_matcher.group(1);
- 注意:脚本中引用的原始日志字段必须使用
.keyword后缀的子字段值,不能直接使用分词后的text类型字段,否则会因为字段值被拆词导致正则匹配失效。
性能优化提示
- 日志量较大的场景下,每次查询逐行跑正则的脚本会拖慢查询速度,建议通过Ingest Pipeline在日志入库环节,就把提取好的邮箱值写入独立的
user_email.keyword字段,后续直接选择该字段做Unique Count聚合即可,查询性能会有明显提升。 - 可以在聚合前增加过滤条件,仅统计匹配到有效邮箱格式的日志行,排除无效日志带来的统计偏差。
内容的提问来源于stack exchange,提问作者Most Wanted
相关产品推荐
相关产品推荐

