SpringBoot微服务中如何导出RocksDB内存使用等扩展指标？

核心思路：通过RocksDB原生API获取指标并集成到SpringBoot监控体系 #

RocksDB本身提供了直接查询内存、缓存、命中数据的API，你可以基于这些API提取指标，再整合到SpringBoot的监控框架（比如Micrometer）中，实现每日导出或实时监控。

1. 内存使用指标获取 #

通过DB实例的GetProperty方法，可查询关键内存相关属性：

• MemTable内存：rocksdb.cur-size-all-mem-tables（当前活跃MemTable占用内存）、rocksdb.size-all-mem-tables（所有MemTable总大小，含已转存的）
• Block Cache内存：rocksdb.block-cache-usage（Block Cache已使用内存）、rocksdb.block-cache-pinned-usage（被固定在缓存中的内存）
• SST读取器内存：rocksdb.estimate-table-readers-mem（SST文件读取器的内存占用）

示例代码：

import org.rocksdb.RocksDB;

public class RocksDBMetricsCollector {
    private final RocksDB db;

    public RocksDBMetricsCollector(RocksDB db) {
        this.db = db;
    }

    public long getBlockCacheUsage() {
        return Long.parseLong(db.getProperty("rocksdb.block-cache-usage"));
    }

    public long getTotalMemTablesSize() {
        return Long.parseLong(db.getProperty("rocksdb.size-all-mem-tables"));
    }
}

2. 缓存详情与命中次数统计 #

缓存命中类指标同样通过GetProperty获取，也可通过Cache实例获取更细粒度统计：

• 基础命中数据：rocksdb.block-cache-hit-count（缓存命中次数）、rocksdb.block-cache-miss-count（缓存未命中次数）
• 缓存操作统计：rocksdb.block-cache-add-count（缓存添加次数）、rocksdb.block-cache-evict-count（缓存驱逐次数）
• 细粒度缓存统计：通过Cache.getStats()获取CacheStats对象，包含不同类型的命中、驱逐详情

示例代码：

import org.rocksdb.Cache;
import org.rocksdb.CacheStats;

public CacheStats getBlockCacheDetailedStats(Cache blockCache) {
    return blockCache.getStats();
}

3. 集成到SpringBoot监控体系 #

将获取的指标通过Micrometer注册为自定义监控指标，即可对接Prometheus、Grafana等工具，支持实时监控和每日导出：

import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.Gauge;
import org.springframework.stereotype.Component;

@Component
public class RocksDBMetricsRegistrar {
    public RocksDBMetricsRegistrar(MeterRegistry registry, RocksDBMetricsCollector collector) {
        // 注册Block Cache使用量指标
        Gauge.builder("rocksdb.block.cache.usage", collector::getBlockCacheUsage)
                .description("RocksDB Block Cache used memory")
                .register(registry);
        
        // 注册MemTables总大小指标
        Gauge.builder("rocksdb.mem.tables.total.size", collector::getTotalMemTablesSize)
                .description("Total size of all RocksDB MemTables")
                .register(registry);
        
        // 注册缓存命中率指标
        Gauge.builder("rocksdb.block.cache.hit.ratio", () -> {
            long hits = Long.parseLong(collector.db.getProperty("rocksdb.block-cache-hit-count"));
            long misses = Long.parseLong(collector.db.getProperty("rocksdb.block-cache-miss-count"));
            return hits + misses == 0 ? 0.0 : (double) hits / (hits + misses);
        }).description("RocksDB Block Cache hit ratio")
                .register(registry);
    }
}

4. 每日导出配置 #

如果需要每日定时导出指标，可通过Spring定时任务实现，将指标写入文件或存储系统：

import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

@Component
public class RocksDBMetricsExporter {
    private final RocksDBMetricsCollector collector;

    public RocksDBMetricsExporter(RocksDBMetricsCollector collector) {
        this.collector = collector;
    }

    @Scheduled(cron = "0 0 0 * * ?") // 每日凌晨执行
    public void exportDailyMetrics() {
        StringBuilder metrics = new StringBuilder();
        metrics.append("rocksdb.block.cache.usage=").append(collector.getBlockCacheUsage()).append("\n");
        metrics.append("rocksdb.mem.tables.total.size=").append(collector.getTotalMemTablesSize()).append("\n");
        
        long hits = Long.parseLong(collector.db.getProperty("rocksdb.block-cache-hit-count"));
        long misses = Long.parseLong(collector.db.getProperty("rocksdb.block-cache-miss-count"));
        double hitRatio = hits + misses == 0 ? 0.0 : (double) hits / (hits + misses);
        metrics.append("rocksdb.block.cache.hit.ratio=").append(String.format("%.2f", hitRatio)).append("\n");
        
        // 写入文件或发送到存储系统的逻辑（示例省略）
    }
}

注意事项 #

• 部分指标需要在RocksDB初始化时开启统计，比如Block Cache的命中统计，需在创建BlockBasedTableConfig时设置setCacheIndexAndFilterBlocks(true)等参数，确保统计生效。
• 频繁调用GetProperty会带来一定性能开销，建议根据业务需求调整指标采集频率。

内容的提问来源于stack exchange，提问作者Luffy