Node.js Cluster模块结合Prometheus：多进程指标聚合问题咨询

关于模块实例的问题 #

是的，Node.js的cluster模块通过fork()创建的子进程是完全独立的V8实例，每个子进程都会重新加载并缓存Node模块。这意味着你用的Prometheus客户端（比如prom-client）的注册表（Registry），每个子进程都会拥有独立的实例，无法直接共用。

聚合多进程指标的方案 #

1. 主进程统一暴露Metrics端点，子进程通过IPC上报指标 #

• 子进程不单独暴露metrics接口，而是定时将自身的指标快照通过IPC发送给主进程
• 主进程维护一个全局的Prometheus Registry，接收子进程的指标数据并合并
• 示例代码思路：

  // 主进程
  const cluster = require('cluster');
  const { Registry, Gauge } = require('prom-client');
  const globalRegistry = new Registry();
  
  if (cluster.isPrimary) {
    // 监听子进程的IPC消息
    cluster.on('message', (worker, msg) => {
      if (msg.type === 'metrics') {
        // 将子进程的指标注册到全局注册表
        for (const metric of msg.metrics) {
          const existingMetric = globalRegistry.getSingleMetric(metric.name);
          if (existingMetric) {
            // 根据指标类型更新值，比如Gauge直接设置，Counter累加
            if (existingMetric instanceof Gauge) {
              existingMetric.set({ pid: worker.process.pid }, metric.value);
            }
          } else {
            // 不存在则创建新指标并注册
            const newMetric = new Gauge({
              name: metric.name,
              help: metric.help,
              labelNames: [...metric.labelNames, 'pid'],
              registers: [globalRegistry]
            });
            newMetric.set({ pid: worker.process.pid }, metric.value);
          }
        }
      }
    });
  
    // 主进程暴露metrics端点
    const http = require('http');
    http.createServer(async (req, res) => {
      if (req.url === '/metrics') {
        res.setHeader('Content-Type', globalRegistry.contentType);
        res.end(await globalRegistry.metrics());
      }
    }).listen(3000);
  } else {
    // 子进程：创建自己的注册表和指标
    const localRegistry = new Registry();
    const requestCount = new Gauge({
      name: 'http_request_count',
      help: 'Number of HTTP requests',
      registers: [localRegistry]
    });
  
    // 模拟业务逻辑更新指标
    setInterval(() => {
      requestCount.inc();
      // 定时发送指标快照给主进程
      process.send({
        type: 'metrics',
        metrics: localRegistry.getMetricsAsJSON()
      });
    }, 1000);
  }
  

2. 每个子进程独立暴露Metrics端点，Prometheus多目标采集 #

• 让每个子进程绑定不同的端口（比如主进程为每个子进程分配端口，或者子进程使用主端口+进程ID偏移）
• 在Prometheus的配置文件中，添加所有子进程的端点作为target，或者使用文件服务发现自动发现子进程：

  # prometheus.yml
  scrape_configs:
    - job_name: 'node_cluster_app'
      file_sd_configs:
        - files:
            - '/path/to/cluster_targets.json'
  

  主进程可以定时扫描子进程列表，将所有子进程的ip:port写入cluster_targets.json文件，Prometheus会自动读取并采集所有端点的指标
• 查询时通过PromQL的sum()等函数聚合所有进程的指标，比如：sum(http_request_count) by (job)

3. 利用共享内存存储指标（高性能场景） #

• 使用Node.js的共享内存模块（如mmap-io）创建共享内存区域，所有子进程将指标写入该区域
• 单独启动一个metrics进程（或由主进程负责）从共享内存读取指标数据，统一暴露Metrics端点
• 注意：需要处理并发写入的同步问题，避免指标数据冲突，实现复杂度较高，适合高吞吐量的场景

注意事项 #

• 使用prom-client时，避免直接使用默认注册表（register），每个子进程应创建独立的自定义注册表，防止进程间干扰
• 对于累加型指标（如Counter），建议子进程上报增量而非绝对值，或者给每个进程的指标添加pid标签，方便Prometheus聚合时去重

内容的提问来源于stack exchange，提问作者Akshit Bansal