指定自定义metrics.properties路径后Spark主从节点无法暴露Prometheus指标

以下是针对性的排查步骤，按优先级排序：

• 确认自定义配置已传递给所有进程
  Spark的Master、Worker、Driver是独立进程，默认只会读取$SPARK_HOME/conf/metrics.properties。如果指定自定义路径，必须确保所有进程都能获取到这个配置：

  • 启动Master时，需添加参数：./sbin/start-master.sh --conf spark.metrics.conf=/your/custom/path/metrics.properties
  • 启动Worker时，需添加参数：./sbin/start-worker.sh spark://master-ip:7077 --conf spark.metrics.conf=/your/custom/path/metrics.properties
    或者设置全局环境变量SPARK_METRICS_CONF=/your/custom/path/metrics.properties，再启动所有进程。如果只给Driver传递了配置，Master和Worker会沿用默认行为（不加载Prometheus sink）。

• 检查Master/Worker日志的配置加载情况
  查看Master日志（默认在$SPARK_HOME/logs/spark-*-master-*.out）和Worker日志（$SPARK_HOME/logs/spark-*-worker-*.out），搜索关键字metrics configuration。正常情况下会有类似日志：

  Loading metrics configuration from /your/custom/path/metrics.properties
  如果没有这条日志，说明进程没加载到自定义文件；如果有报错（比如文件不存在、权限不足），需修正路径或权限。

• 验证自定义metrics.properties的配置完整性
  对比默认配置文件，确保自定义文件中包含Master和Worker的Prometheus sink配置，示例关键配置段：

  # 全局sink配置
  *.sink.prometheusServlet.class=org.apache.spark.metrics.sink.PrometheusServlet
  *.sink.prometheusServlet.path=/metrics/prometheus
  
  # 针对Master/Worker/Driver/Executor的单独配置（可选，但需确保存在）
  master.sink.prometheusServlet.path=/metrics/prometheus
  worker.sink.prometheusServlet.path=/metrics/prometheus
  driver.sink.prometheusServlet.path=/metrics/prometheus
  executor.sink.prometheusServlet.path=/metrics/prometheus
  

  如果自定义文件中遗漏了master或worker相关的sink配置，对应进程不会暴露Prometheus指标接口，访问根端口会返回默认网页。

• 确认指标访问路径正确
  不要直接访问Master的8080或Worker的8081根路径（这会返回Web UI），需访问指标接口的完整路径：

  • Master指标：http://master-host:8080/metrics/prometheus
  • Worker指标：http://worker-host:8081/metrics/prometheus
    若路径错误，自然只会看到Web UI页面。

• 检查配置文件的语法和兼容性
  确保自定义文件中没有语法错误（比如键值对格式错误、类名拼写错误），比如org.apache.spark.metrics.sink.PrometheusServlet类名是否正确（不同Spark版本类名一致，但需确认）。如果配置语法错误，进程会 fallback 到默认配置或不加载sink。

内容的提问来源于stack exchange，提问作者Karan Alang