AWS托管Apache Flink中RocksDB状态存储低成本方案咨询

核心结论 #

在AWS托管Flink环境（如Kinesis Data Analytics for Flink）中，直接使用EC2实例的本地实例存储（Instance Store）作为RocksDB的工作目录是规避EFS成本的最佳方案，无需手动指定本地路径，且能配合已配置的S3检查点实现容错。

具体说明与操作建议 #

• 默认使用实例存储：
  AWS托管Flink会自动为每个TaskManager分配所在EC2实例的本地磁盘作为RocksDB的临时工作存储，无需手动配置file://类路径。实例存储是EC2实例自带的本地存储，包含在实例费用中，无额外存储成本，且随机读写性能远优于EFS，完全适配RocksDB的IO需求。

  注意：实例存储属于临时存储，若EC2实例故障，本地RocksDB状态会丢失，但由于你已配置S3作为检查点存储，Flink会自动从S3的检查点快照恢复完整状态，不影响作业的容错性。

• 为什么S3无法直接作为RocksDB存储：
  RocksDB是依赖本地磁盘低延迟随机读写的嵌入式存储引擎，而S3是对象存储服务，仅支持高延迟的对象级读写，不支持RocksDB所需的随机IO操作，因此直接配置S3路径给RocksDB必然失败。

• 优化配置补充：

  1. 启用RocksDB增量检查点：通过配置state.backend.rocksdb.checkpoint.transfer.thread.num并将state.backend.rocksdb.incremental设为true，可以只上传RocksDB状态的增量变化到S3，减少存储和带宽开销。
  2. 选择带本地磁盘的实例类型：优先选择m5d、c5d等自带NVMe本地磁盘的实例类型，这类实例的本地存储容量更大、性能更强，能更好支撑大规模状态的RocksDB操作。

内容的提问来源于stack exchange，提问作者papaya123