Apache Flink Checkpoint中RocksDB压缩测试与指标监控问题排查

• 未明确开启RocksDB压缩算法：你当前的配置仅调整了compaction的文件大小参数，但RocksDB默认不会自动启用压缩。需要在flink-conf.yaml中添加压缩类型配置，比如：

  rocksdb.compression.type: LZ4  # 可选SNAPPY、ZSTD等，根据需求选择
  

  压缩算法是让Checkpoint数据量降低的核心前提，未开启的话即使触发compaction，数据也不会被压缩。

• 参数单位理解错误：你配置的rocksdb.writebuffer.size: 2048对应的是RocksDB原生参数write_buffer_size，单位为字节（仅2KB），过小的写缓冲会导致频繁刷盘生成大量小文件，反而增加compaction压力，难以体现压缩效果。建议调整为合理值，比如64MB（对应数值67108864）：

  rocksdb.writebuffer.size: 67108864
  

  同理，rocksdb.compaction.level.target-file-size-base: 2048也是字节单位（仅2KB），建议调整为比如64MB（67108864），让compaction生成的文件大小更合理。

• 确认增量Checkpoint配置正确性：确保已正确开启增量Checkpoint，对应配置（Flink 1.11+版本）：

  state.backend.rocksdb.incremental: true
  

  旧版本使用state.backend.incremental: true，若配置错误，会导致全量Checkpoint持续增长。

• 检查compaction触发条件：默认情况下，Leveled Compaction在Level 0文件数达到4个时触发，若小文件生成过快，可调整触发阈值：

  rocksdb.compaction.level.level0-file-num-compaction-trigger: 6  # 根据实际情况调整
  

Flink的RocksDB后端会自动注册原生指标，无需通过RichFunctions手动配置，只需确保指标系统正常启用：

1. 开启指标上报（以Prometheus为例）：在flink-conf.yaml中添加如下配置，启用Prometheus指标上报：

   metrics.reporter.prometheus.class: org.apache.flink.metrics.prometheus.PrometheusReporter
   metrics.reporter.prometheus.port: 9250-9260
   

2. 通过Web UI查看指标：

   • 进入Flink Web UI，切换到Task Managers页面，选择对应Task Manager的Metrics标签页
   • 在搜索框输入rocksdb_前缀，即可筛选出所有RocksDB原生指标，重点关注：
     • rocksdb_compaction_bytes_total：总压缩处理的字节数，若数值增长说明compaction已执行
     • rocksdb_sst_files_total：SST文件总数，若持续增长说明compaction未有效清理文件
     • rocksdb_level_file_size_：各Level的文件总大小，可观察Level 1及以上的大小变化判断压缩效果
     • rocksdb_compaction_pending：是否有等待执行的compaction任务，若为1说明compaction在排队

3. 通过REST API获取指标：调用Task Manager的REST端点http://<tm-host>:<tm-port>/metrics，添加参数get=rocksdb_*即可批量获取RocksDB指标，示例：

   curl "http://localhost:8081/taskmanagers/<tm-id>/metrics?get=rocksdb_*"
   

内容的提问来源于stack exchange，提问作者Banupriya