New Relic数据摄入详情查询及数据量优化技术问询

一、解决NrConsumption查询结果过少的问题 #

• 先确认权限：账号必须拥有数据治理或账单查看权限，权限不足会导致返回结果不完整。
• 扩大查询时间范围：默认时间区间可能过短，尝试拉取过去7天的数据，使用以下查询语句：

  SELECT * FROM NrConsumption SINCE 7 DAYS AGO LIMIT 100
  

• 按维度分组查询：直接按应用名称和数据类型聚合统计，能直观看到高消耗项：

  SELECT sum(estimatedIngestedBytes) AS total_bytes, entityName, dataType 
  FROM NrConsumption SINCE 7 DAYS AGO 
  GROUP BY entityName, dataType 
  ORDER BY total_bytes DESC
  

二、获取应用与数据类型的对应明细 #

• 用NrDailyUsage表补充查询：该表粒度更细，可获取每日数据摄入明细：

  SELECT entityName, dataType, usageUnit, sum(usageAmount) AS total_usage 
  FROM NrDailyUsage SINCE 7 DAYS AGO 
  GROUP BY entityName, dataType, usageUnit 
  ORDER BY total_usage DESC
  

• 从UI直接查看：进入New Relic的实体目录，筛选应用类实体，每个实体的详情页会显示关联的数据源（如APM、日志、基础设施监控等），可直接定位哪些应用在传输什么类型的数据。
• 开启摄入告警：在数据治理页面开启数据摄入异常告警，能实时捕捉数据量突然暴涨的应用或数据类型。

三、数据量缩减的实操方法 #

• 对高消耗数据做采样：比如给日志数据设置采样率，仅保留关键业务日志；调整APM事务追踪的采样规则，减少非核心请求的数据采集量。
• 关闭无用集成：若测试应用或闲置应用仍在传输数据（如日志），直接在集成配置中关闭对应数据源。
• 缩短非核心数据的保留周期：对无需长期存储的数据，调整保留时间，降低存储和摄入成本。

内容的提问来源于stack exchange，提问作者user3247895