Spark向Graphite输出metrics时如何过滤JvmSource产生的冗余指标

Spark指标系统原生支持对上报的metrics进行过滤，你可以通过以下两种方式实现指标筛选：

方案1：Spark侧配置内置正则过滤器（推荐） #

该方案在Spark上报前就完成过滤，能减少不必要的网络传输开销，配置步骤如下：

• 在你的metrics.properties配置文件中，为GraphiteSink追加正则过滤器配置，示例如下：

# 原有JVM Source配置保留
*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
# 原有Graphite Sink基础配置保留，此处省略
...
# 新增过滤规则配置
*.sink.graphite.filter.class=org.apache.spark.metrics.sink.filter.RegexFilter
# 填写你需要保留/排除的指标正则，示例为仅保留JVM堆内存使用量、非堆内存使用量两个指标
*.sink.graphite.filter.pattern=jvm\.heap\.used|jvm\.non-heap\.used
# 规则类型：false代表保留匹配pattern的指标、排除其余所有；true代表排除匹配pattern的指标、保留其余所有
*.sink.graphite.filter.exclude=false

如果你是在spark-defaults.conf中直接配置metrics参数，所有上述metrics规则前都需要加上spark.metrics.conf.前缀，例如过滤器类的配置就是spark.metrics.conf.*.sink.graphite.filter.class=org.apache.spark.metrics.sink.filter.RegexFilter。

• 如果你有更复杂的过滤逻辑，也可以自定义实现org.apache.spark.metrics.sink.filter.Filter接口，将实现类打包后放入Spark的classpath，再将上述配置中的filter.class替换为你的自定义实现类全限定名即可。

方案2：Graphite侧配置丢弃规则 #

如果你不想修改Spark侧配置，也可以在Graphite的Carbon服务配置中添加丢弃规则，在数据存储阶段过滤冗余指标：

• 修改Carbon的storage-schemas.conf或blacklist.conf配置，添加不需要的指标的匹配规则，设置为直接丢弃即可。该方案不会减少Spark到Graphite的网络传输量，适合临时快速过滤场景。

内容的提问来源于stack exchange，提问作者user3119496