使用本地SSD未提升Flink状态延迟的原因排查

我运行着一个Flink 1.14.2应用，每分钟处理数十万条事件，数据已分区且包含多个读写状态数据结构。配置为每个TaskManager（TM）6个slot，分配15G内存，JobManager分配6G内存。为了提升处理速度，我启用了状态延迟指标，配置如下：

state.backend.latency-track.keyed-state-enabled: true
state.backend.latency-track.sample-interval: 10
state.backend.latency-track.history-size: 256

我分别使用挂载在/mnt1/的本地SSD和/tmp/的常规EBS运行该应用，但指标显示状态延迟没有任何提升。SSD的最小写入延迟表现远优于常规EBS，且磁盘基准测试也证实了SSD性能更优：

EBS基准测试结果 #

# EBS
Jobs: 4 (f=4): [r(4)] [100.0% done] [12012KB/0KB/0KB /s] [3003/0/0 iops] [eta 00m:00s]
  read : io=731944KB, bw=12199KB/s, iops=3049, runt= 60001msec
    slat (usec): min=125, max=6473, avg=1309.29, stdev=236.23
    clat (usec): min=2, max=25821, avg=19674.13, stdev=2309.38
     lat (msec): min=1, max=27, avg=20.98, stdev= 2.46

SSD基准测试结果 #

# SSD
Jobs: 4 (f=3): [f(1),r(3)] [100.0% done] [172.1MB/0KB/0KB /s] [44.3K/0/0 iops] [eta 00m:00s]
  read : io=2048.0MB, bw=177079KB/s, iops=44269, runt= 11843msec
    slat (usec): min=31, max=2346, avg=88.67, stdev=16.58
    clat (usec): min=1, max=6572, avg=1352.79, stdev=118.15
     lat (usec): min=77, max=6829, avg=1441.46, stdev=124.80

请问为何状态延迟指标未显示任何提升？

1. 状态后端缓存未触发磁盘IO #

Flink常用的RocksDB状态后端默认依赖内存缓存，只有当缓存达到阈值时才会刷写磁盘。如果你的应用状态读写完全命中内存缓存，磁盘性能差异就不会体现在状态延迟指标中：

• 检查state.backend.rocksdb.memory.write-buffer-size、state.backend.rocksdb.memory.high-priority-pool-ratio等配置，确认缓存是否覆盖当前状态读写量；
• 查看rocksdb_bytes_written指标，验证是否有实际磁盘写入操作发生。

2. 采样机制的局限性 #

你配置的sample-interval: 10意味着每10次状态操作才采样1次，低采样率可能无法捕捉到磁盘性能差异带来的延迟变化：

• 尝试降低采样间隔（如设为1），提升采样密度后观察指标变化；
• 确认history-size: 256是否足够，过小的历史窗口可能平滑掉性能差异。

3. 瓶颈不在磁盘IO #

应用每分钟处理数十万条事件，瓶颈可能出在CPU计算、网络传输或状态序列化环节，而非磁盘：

• 查看TaskManager的CPU使用率，若持续高负载（>80%），说明磁盘不是性能瓶颈；
• 检查状态序列化开销，比如是否使用高效序列化器（如Kyro），是否存在大状态对象导致序列化延迟掩盖磁盘差异。

4. 状态存储路径配置错误 #

需确认Flink实际将状态存储到了SSD路径/mnt1/：

• 检查state.backend.rocksdb.localdir配置，确认其指向/mnt1/而非默认路径或EBS路径；
• 查看TaskManager运行日志，搜索状态存储路径相关内容，验证实际使用目录。

5. 指标统计范围的掩盖 #

Flink状态延迟指标统计的是完整状态操作耗时，包含内存操作、序列化、磁盘IO等多个环节。若磁盘IO在总耗时中占比极低，即使SSD性能更优，也难以在整体指标中体现：

• 使用火焰图或Profiler工具分析状态操作的耗时分布，确认磁盘IO的占比情况。

内容的提问来源于stack exchange，提问作者Raúl García