如何在EFK中展示离线服务对应的缺失索引模式数据

嘿，我来给你几个实用的方案，帮你快速找出那些没上报数据的离线服务，不用一个个手动排查：

方法1：用ES的_cat indices API + 服务列表对比 #

这个方法简单直接，适合快速排查：

1. 先把你所有15个服务的完整名称整理成一个列表，比如：

   health_sqlservice health_tcpservice health_pingservice health_xxxservice ...（剩下的12个）
   

2. 调用ES的_cat/indices接口，获取所有已存在的health_*前缀索引：

   curl -XGET 'http://你的ES地址:9200/_cat/indices/health_*?v&h=index'
   

   这个命令会返回所有有数据的health类索引（毕竟只有当td-agent成功写入日志时，ES才会创建对应的索引）。
3. 把返回的索引列表和你预先整理的15个服务列表做差集对比——差集里的就是没上报数据的离线服务。如果用shell脚本自动化的话，可以这么写：

   # 定义所有服务的完整列表
   all_services="health_sqlservice health_tcpservice health_pingservice ..."
   # 获取ES中已存在的health索引
   existing_indices=$(curl -s -XGET 'http://你的ES地址:9200/_cat/indices/health_*?h=index' | tr '\n' ' ')
   # 找出缺失的服务（comm命令需要输入是排序后的）
   missing_services=$(comm -23 <(echo "$all_services" | tr ' ' '\n' | sort) <(echo "$existing_indices" | tr ' ' '\n' | sort))
   echo "当前离线的服务：$missing_services"
   

   要是不想写脚本，手动把两个列表放到Excel里用对比公式找差集也能搞定。

方法2：在Kibana里做可视化展示（更直观） #

如果想在Kibana里直接看到离线服务列表，甚至做成仪表盘的一部分，可以这么做：

1. 先创建一个参考数据集：把所有15个服务名存成一个CSV文件（比如列名叫service_name），然后导入到ES中，创建一个专门的参考索引，比如reference_all_services。
2. 在Kibana中创建一个脚本字段：在health_*索引的索引模式里，新增一个脚本字段，从索引名里提取服务名，比如脚本内容：

   ctx.index.split('_')[1]
   

   把这个字段命名为service_name，和参考索引的字段名保持一致。
3. 用Kibana的Data View Join功能，把health_*索引和reference_all_services索引通过service_name字段关联起来。
4. 最后创建一个表格可视化，筛选出“在参考索引中存在，但在health_*索引中没有匹配数据”的条目——这些就是离线服务，直接在仪表盘里展示就行。

方法3：逐个检测服务的最近数据上报情况 #

如果有些服务是间歇性上报，你需要确认它们最近一段时间有没有数据，这个方法更精准：
针对每个服务，发送ES查询请求，检查最近N小时内是否有日志：

GET /health_sqlservice/_search
{
  "size": 0,
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-24h"  // 可以根据你的服务上报频率调整，比如now-1h
      }
    }
  }
}

如果返回结果里的hits.total.value是0，说明这个服务最近24小时没上报数据。你可以写个简单的Python/Shell脚本，循环遍历所有15个服务，自动执行这个查询并收集结果。

一些额外的注意事项 #

• 排查前先确认td-agent的配置有没有问题：比如日志文件路径是否正确、有没有权限读取日志、输出插件配置是否正确——避免是td-agent本身的问题导致日志没上传。
• 时间范围的选择要贴合你的服务实际情况：如果是高频上报的服务，查最近1小时就行；如果是低频的，可能要查最近24小时甚至更久。

内容的提问来源于stack exchange，提问作者S Andrew