如何获取Elastic中已摄入原始日志的大小？

为什么Cat API的索引大小和原始日志差异大？ #

Cat API返回的store.size是Elastic索引的压缩存储体积+索引结构（倒排索引、元数据等），和原始未压缩的日志体积完全不是一个概念，所以两者必然存在显著差异。

直接在Elastic中实现的思路 #

1. 摄入时记录原始大小字段（最准确） #

在日志摄入环节（Filebeat/Logstash/Elastic Ingest Node）添加字段记录单条日志的原始字节数，之后通过聚合统计总和：

• Logstash实现：用Ruby插件计算并添加字段

  filter {
    ruby {
      code => "event.set('original_size', event.to_s.bytesize)"
    }
  }
  

• Elastic Ingest Node实现：用脚本处理器添加字段

  {
    "processors": [
      {
        "script": {
          "source": "ctx.original_size = ctx._source.toString().getBytes().length"
        }
      }
    ]
  }
  

• 统计总原始大小的聚合查询：

  GET /目标索引名/_search
  {
    "size": 0,
    "aggs": {
      "total_original_size": {
        "sum": {
          "field": "original_size"
        }
      }
    }
  }
  

  返回结果中aggregations.total_original_size.value就是所有日志的原始总字节数。

2. 用_field_stats API近似估算 #

如果没法修改摄入流程，可以用这个API估算日志内容字段（比如message）的原始存储大小：

GET /目标索引名/_field_stats?fields=message

返回的fields.message.total_bytes是该字段存储的原始字节数，适合快速近似统计（注意：若字段经过分词、截断等处理，结果会和原始日志有细微偏差）。

第三方工具方案 #

1. Filebeat监控统计 #

启用Filebeat的监控功能，查看libbeat.output.elasticsearch.bytes_sent指标，累加该指标值即可得到发送到Elastic的原始日志总字节数（Filebeat发送的内容和原始日志体积高度接近）。

2. Logstash监控统计 #

通过Logstash的监控API获取events.out.bytes指标，该值是Logstash发送到Elastic的事件原始字节数总和，可直接作为原始日志大小的统计值。

注意事项 #

• 摄入时记录original_size是唯一能得到精准原始大小的方式，完全不受Elastic存储压缩、索引结构的影响。
• 近似估算方式仅能作为参考，无法做到100%精准。
• 第三方工具的统计依赖采集端的监控数据，需确保监控功能正常开启且数据未丢失。

内容的提问来源于stack exchange，提问作者teez testing